Исследование больших объемов данных, выявление зависимостей, статистические и маркетинговые исследования и построение моделей. Создание проекта разработки статистического пакета. Структура пакета, план его реализации. Выбор инструментов разработки.
Краткое сожержание материала:

Размещено на

Содержание

• Введение
• 1. Обзор аналогов системы
• 2. Требования к пакету
• 3. Структура пакета
• 4. План реализации пакета
• 5. Управление версиями
• Заключение
• Список литературы

Введение

В рамках учебного процесса многие студенты сталкиваются с необходимостью исследования больших объёмов данных, выявления зависимостей, проведения статистических и маркетинговых исследований или построения моделей. Это верно как для технических специальностей, так и для гуманитарных (например, социология).

Всё вышесказанное имеет ещё большую актуальность при проведении научных исследований.

Часть подобной работы можно выполнить с помощью связки доступных программ и пакетов, но нередко гораздо удобнее, а то и просто необходимо использовать единый инструмент обработки данных.

На рынке представлено множество программных продуктов, реализующие необходимые функции, но полнофункциональные версии по-настоящему универсальных и простых в освоении пакетов стоят немалых денег.

Целью работы является создание проекта разработки статистического пакета, удовлетворяющего нашим требованиям.

Задачи, решаемые в рамках данной цели:

· обзор аналогов проектируемой системы;

· разработка структуры пакета;

· разработка плана реализации проекта;

· выбор инструментов разработки.

1. Обзор аналогов системы

Самые популярные аналоги нашего будущего пакета, представленные на рынке - программы SPSS и STATISTICA. Они являются наиболее универсальными. Также в различных областях широко применяются программы SAS и MINITAB.

STATISTICA

В данный момент в продаже имеется русскоязычная версия STATISTICA 6 и англоязычная версия STATISTICA 10.

Обычно, когда мы говорим "пакет STATISTICA", мы подразумеваем три основных модуля:

Базовый пакет STATISTICA Base - предоставляет обширный выбор основных статистик в едином пакете в сочетании с мощностью, производительностью и простотой использования технологии STATISTICA.

Линейные и Нелинейные Модели STATISTICA Advanced Linear/Non-Linear Models - большой набор самых современных инструментов для моделирования и прогнозирования, включающий возможность автоматического выбора модели и расширенные интерактивные средства визуализации.

Многомерные разведочные технологии анализа STATISTICA Multivariate Exploratory Techniques - широкий выбор разведочных технологий анализа различных типов данных в сочетании с богатыми интерактивными средствами визуализации.

Эти три модуля составляют стандартную комплектацию пакета STATISTICA 6. Модули могут приобретаться как единым пакетом, так и отдельно. При этом, для работы модулей STATISTICA Advanced Linear/Non-Linear Models и STATISTICA Multivariate Exploratory Techniques требуется наличие базового пакета STATISTICA Base.

В версии STATISTICA 10 модули комплектуются немного иначе: можно приобрести либо только STATISTICA Base, либо пакет STATISTICA Advanced, включающий в себя три вышеперечисленных основых модуля и дополнительный модуль Power Analysis.

Также существуют дополнительные специализированные модули и системы.

Анализ мощности STATISTICA Power Analysis является всесторонним инструментом для планирования ваших исследований. Он помогает найти подходящий размер выборки для вашего конкретного анализа. В модуле представлен широкий спектр функций для анализа статистической мощности и вычисления размера выборки.

Нейронные сети STATISTICA Neural Networks - единственный в мире программный продукт для нейросетевых исследований, полностью переведенный на русский язык. Кроме того, STATISTICA Neural Networks является богатой, мощной и чрезвычайно быстрой средой анализа нейросетевых моделей, соответствует самым современным технологиям и показывает наилучшие рабочие характеристики. Уникальные возможности Мастера решений позволяют использовать систему не только экспертам по нейронным сетям, но и новичкам в области нейросетевых вычислений.

Cистема Карты контроля качества STATISTICA Quality Control Charts предоставляет широкий спектр аналитических методов управления качеством, а также контрольные карты презентационного качества. Практически все многочисленные графики и их параметры могут быть модифицированы и сохранены в качестве установок по умолчанию или шаблонов для дальнейшего использования. Карты контроля качества STATISTICA включает мощные и простые средства для создания совершенно новых аналитических процедур, которые затем могут быть добавлены в модуль в качестве полноправных методов. Это особенно полезно в случае интеграции пакета в существующую систему сбора и обработки данных.

Система Анализ процессов STATISTICA Process Analysis состоит из двух модулей, каждый из которых включает обширный набор технологий, таких как анализ пригодности процесса, анализ повторяемости и воспроизводимости измерений, анализ Вейбулла, выборочных планов и компонентов дисперсии для случайных эффектов.

Модуль Планирование экспериментов STATISTICA Design of Experiments предлагает исчерпывающий набор процедур для построения и анализа экспериментальных планов, используемых в промышленных исследованиях.

STATISTICA Data Miner представляет собой инструмент аналитического исследования больших массивов информации с целью выявления определенных закономерностей и систематических взаимосвязей между переменными, которые затем можно применить к новым совокупностям данных.

Дополнительная возможность STATISTICA Data Miner - STATISTICA Text Miner. Особенностью средств добычи и отбора информации, а также других аналитических инструментов, доступных в STATISTICA Text Miner, является то, что в качестве входных данных можно использовать не только текстовые документы или веб-страницы, но также ссылки, списки или кластеры. Анализируемая неструктурированная информация даже может включать в себя непреобразованные битовые изображения, звуковые файлы и т.д.

На рисунке 1 представлен пример интерфейса пакета STATISTICA.

статистический пакет прикладная программа

Рисунок 1 - Интерфейс STATISTICA

Стоимость базового модуля STATICTICA Base для образовательных учреждений составляет около пятнадцати тысяч рублей за однопользовательскую версию. Каждый модуль расширения стоит также от одного до нескольких десятков тысяч рублей.

Пакет не требует высокой производительности от ПК пользователя, однако работает только под управлением ОС семейства Windows (за исключением Windows 2000).

SPSS Statistics

Другой популярный статистический пакет - SPSS Statistics также представлен в виде связанных модулей. После покупки компании корпорацией IBM в 2009 году, пакет стал называться IBM SPSS Statistics. Последняя версия под номером 20 датируется августом 2011 года.

Список модулей SPSS представлен ниже.

SPSS Statistics Base - это ключевой элемент пакета SPSS Statistics, обеспечивающий доступ к данным, управление данными, подготовку данных к анализу, анализ данных и создание отчетов.

В SPSS Advanced Models заложены процедуры, которые позволять продвинуться за рамки базового анализа данных. В SPSS Advanced Models имеется мощный набор методов одномерного и многомерного анализа для решения реальных практических задач.

SPSS Bootstrapping упрощает тестирование устойчивости и надежности моделей.

SPSS Categories применяется для решения следующих задач:

· Анализ больших, громоздких двухвходовых и многовходовых таблиц;

· Работа с порядковыми и номинальными переменными с использованием процедур, аналогичных обычным процедурам регрессии, анализа главных компонент и канонической корреляции;

· Визуализация и исследование категориальных данных.

Модуль SPSS Complex Samples предоставляет специализированные средства планирования и статистики, которые требуются при работе с данными выборочного обследования. Они позволяют сделать статистически более правильные выводы о генеральной совокупности, учитывая план отбора при проведении анализа. SPSS Complex Samples облегчает понимание и упрощает работу с данными обследований на базе сложных выборок.

Совместный (Conjoint) анализ в SPSS Conjoint предоставляет возможность оценки того, как отдельные атрибуты товаров и услуг оказывают влияние на предпочтения покупателей. При помощи такого анализа можно оценивать влияние на принятие решения каждого атрибута в контексте набора атрибутов товаров или услуг, так как это делают покупатели, принимая решение о покупке.

SPSS Tables существенно облегчает процесс подытоживания данных для подгрупп. Интерактивный интерфейс построения таблиц обновляется в режиме реального времени, так что можно видеть, как будут выглядеть таблицы. Также можно добавлять в таблицы тестовые статистики и изменять таблицы, чтобы они были более понятными и наглядними. Построенные таблицы можно экспортировать в Microsoft Word и Excel.

Дополнительный модуль SPSS Data Preparation предоставляет доступ к новым процедурам, позволяющим...