Главная / Учебные материалы / Методические указания для самостоятельных работ / Самостоятельное исследование 3 / Описание программного комплекса

Описание программного комплекса

Подготовка и работа с пакетами web-центра. Порядок ввода исходных данных
Процедуры работы с пакетами из ПОИ и из комплекса работы с композитными приложениями на примере краулера и порядок ввода данных приведены в описании программного комплекса самостоятельной работы 2.

Для конструируемых цепочек задач необходим только один входной текстовый файл с ключевыми словами для краулинга.

Порядок добавления файлов в композитное приложение описан в самостоятельной работе 2.

Рассмотрим функционал осваиваемых в рамках данной работе прикладных пакетов.

Прикладные пакеты в составе web-ориентированного центра в соответствии с выполняемыми ими функциями можно условно разделить на четыре группы: сбора данных в социальных сетях, статистической обработки и анализа данных, моделирования сценариев, а также визуализации.

Пакет SD/Crawler сбора данных был разобран в предыдущей лабораторной работе. Рассмотрим остальные группы ПО.

Прикладной пакет SD/Analysis многомерного статистического анализа структуры виртуальных сообществ в социальных сетях.

Основными функциональными возможностями пакета SD/Analysis являются:
- анализ структуры сообществ в социальных сетях (на основе формализма комплексных сетей);
- анализ скорости и каналов распространения конкретных сообщений по выделенным совокупностям;

Для анализа как структуры сообществ, так и самих социальных сетей используют их представление в виде графа (вершинами являются отдельные индивиды, а ребрами – связи между ними) и методы анализа комплексных сетей. С этой целью необходимо вычислять различные характеристики динамических срезов социальной сети, которые являются выходными данными пакета. К ним относятся, в частности, такие общие характеристики, как количество вершин, количество ребер, максимальная степень вершины, количество вершин, степень которых равна нулю и т.д., а также топологические характеристики сети. Кроме того, рассчитываются характеристики суперспридеров – участников сети, которые на текущий момент времени имеют наибольшее число связей (формулируются в терминах статистики экстремальных значений). Выполняется классификация и кластеризация на комплексных сетях (выделение и анализ неформальных сообществ), рассчитываются спектральные характеристики структуры комплексной сети.
Задачей данного пакета является предоставление инструментов для многомерного статистического анализа структуры виртуальных сообществ в социальных сетях.

Прикладной пакет SD/Dynamic моделирования динамических процессов в социальных сетях
Программный компонент моделирования социальных процессов распространения информации и формирования мнений в неоднородной социальной сети SD/Dynamic – приложение, позволяющее моделировать динамические процессы, протекающие в комплексной многомерной сети.

Основной функцией компонента является пошаговое исполнение алгоритма распространения слухов с заданными параметрами на заданной сети, а также сбор детализированной информации о процессах, происходящих на вершинах графа. Второй функцией компонента является исполнение алгоритма формирования мнений на заданной сети.

Алгоритм моделирования распространения информации включает в себя следующие шаги.
1. Считывание и проверка данных.
2. Выполнение алгоритма Делай-Кендала распространения информации по сети.
3. Вывод данных.

Переменные, необходимые для описания алгоритма Делай-Кендала:
I – число вершин, не владеющих информацией;
S – число вершин, которые владеют информацией;
R – число вершин, которые владеют информацией но не передают ее дальше;
/, a – конфигурационные параметры;
k – минимальная степень вершины, с которой начинается распространение информации.

Прикладные пакеты сторонних разработчиков в составе web-центра "Социодинамика"
В ходе разработки производственно-исследовательского центра для отдельных задач в состав web-центра были включены прикладные пакеты сторонних разработчиков по различным направлениям сервисов платформы. Кратко рассмотрим эти пакеты.

Pajek:
Назначение ПО: Программа позволяет анализировать большие сети с тысячами вершин.
Основные содержательные функции: Ее привлекательными свойствами являются серьезные средства статистических инструментов (регрессии, нормализация, другие возможности статистической работы с данными), возможности преобразования данных, поддержка разных форматов графических и текстовых файлов.

Пакет JUNG:
Назначение ПО: Программа представляет собой библиотеку Java-модулей поддержки языка моделирования, анализа и визуализации данных, которые могут быть представлены в виде графа или сети. Безусловным преимуществом продукта является практически неограниченное количество узлов (как говорят разработчики, количество узлов ограничено только вычислительными мощностями исследователя, были примеры работы с сетями более 150 000 узлов).

Основные содержательные функции: Приложениям, построенным на JUNG, предоставлены все возможности Java-интерфейса, а также доступ к сторонним библиотекам Java. Архитектура JUNG позволяет использовать обширные встроенные возможности Java API, а также других существующих сторонних библиотек Java.

Таким образом, основные действия, которые позволяет совершать программа:
- презентация различных связей и отношений между ними, включая прямые и непрямые графы, мультимодальные графы, графы с параллельными вершинами, гиперграфы;
- механизмы для описания графа, связей и отношений с наборами данных;
- применение алгоритмов теории графов, анализа данных, сетевого анализа, содержащих алгоритмы для кластеризации, декомпозиции, оптимизации, генерации случайных графов, статистического анализа, расчета дистанции и измерения рангов;
- визуализация структуры сетевого сообщества;
- применение фильтрующих механизмов, которые позволяют выделять подмножества в сети.

igraph:
Назначение ПО: Пакет для создания графов. Содержит реализации решений часто возникающих задач и алгоритмов анализа графов. Позволяет работать с графами с миллионами вершин.

Доступен в нескольких формах: библиотека для C, модуль для Python, расширение для Ruby и пакет для R (проект GNU по статистическим вычислениям).

Основные содержательные функции:
- Содержит много функций для создания детерминированных и случайных графов.
- Функции для манипуляции графами и редактирования вершин и рёбер.
- Функции для вычисления структурных свойств графов.
- Пакеты для R и Python могут визуализировать графы многими способами, в 2D и 3D.
- Эвристичные алгоритмы поиска кластеров.

STOCNET:
Назначение ПО: Программа ориентирована на продвинутый статистический анализ социальных сетей и сфокусирована на вероятностных (стохастических) моделях. Программа содержит весьма сложные методы анализа повторяющихся измерений, стохастического блочного моделирования и стохастического анализа сетей (p*-модели). Относится к разряду бесплатных ПО.

Основные содержательные функции: Программа содержит несколько статистических моделей для сетевого анализа. В последней версии программы прилагается шесть модулей:
- BLOCKS – для стохастического моделирования реляционных данных;
- p2 – для анализа бинарных сетей;
- PACNET – для создания частичных алгебраических моделей сетей на основе статистического подхода;
- SIENA – для анализа повторяющихся измерений социальных сетей и оценки случайных графов;
- ULTRAS – для анализа бинарного неориентированных данных сети с помощью ультраметрических ( т. е. иерархической кластеризации) измерений моделей;
- ZO – для моделирования и перечисления графов с заданными параметрами.

Prefuse и Prefuse Flare:
Назначение ПО: Системы, предназначенные для интерактивной визуализации различного рода данных. Prefuse предоставляет возможности визуализации на языке программирования Java. Prefuse Flare предоставляет возможности визуализации в ActionScript и Adobe Flash Player. Оба продукта являются свободно распространяемыми программными продуктами с открытым кодом в соответствии с лицензией типа BSD.

Для конструируемых цепочек задач необходим один входной текстовый файл с ключевыми словами для краулинга по избранной для исследования теме.