Комплекс интеллектуального анализа данных

Разработка комплекса интеллектуального анализа данных, получаемых в процессе работы коммерческого предприятия розничной торговли. Исследование стационарности ассоциаций, выявление частоты появления ассоциаций. Скрипты для создания баз данных и таблиц.
Краткое сожержание материала:

Размещено на

Размещено на

Оглавление

Введение

1. Краткое описание комплекса

1.1 Описание структуры комплекса

1.2 Описание основных задач комплекса

2. Выполненные задания

2.1 Задание №1

2.1.1 Постановка задачи

2.1.2 Описание приложения

2.2 Задание №2

2.2.1 Постановка задачи

2.2.2 Обоснование расчета вероятностей

2.2.3 Описание приложения

2.3 Задание №3

2.3.1 Постановка задачи

2.3.2 Математическая постановка задачи

2.3.3 Описание приложения

2.4 Задание №4

2.4.1 Постановка задачи

2.4.2 Описание приложения

Заключение

Приложения

Введение

В ходе выполнения производственной практики было принято участие в разработке комплекса интеллектуального анализа данных (ИАД), получаемых в процессе работы коммерческого предприятия розничной торговли.

Предприятия розничной торговли сегодня собирают подробную информацию о каждой отдельной покупке, используя кредитные карточки с маркой магазина и компьютеризованные системы контроля.

ИАД - это процесс обнаружения в «сырых» данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. ИАД представляют большую ценность для руководителей и аналитиков в их повседневной деятельности.

Вот типичные задачи, которые можно решать с помощью ИАД в сфере розничной торговли:

анализ покупательской корзины (анализ сходства) предназначен для выявления товаров, которые покупатели стремятся приобретать вместе. Знание покупательской корзины необходимо для улучшения рекламы, выработки стратегии создания запасов товаров и способов их раскладки в торговых залах.

исследование временных шаблонов помогает торговым предприятиям принимать решения о создании товарных запасов. Оно дает ответы на вопросы типа "Если сегодня покупатель приобрел видеокамеру, то через какое время он вероятнее всего купит новые батарейки и пленку?"

создание прогнозирующих моделей дает возможность торговым предприятиям узнавать характер потребностей различных категорий клиентов с определенным поведением, например, покупающих товары известных дизайнеров или посещающих распродажи. Эти знания нужны для разработки точно направленных, экономичных мероприятий по продвижению товаров.

1. Краткое описание комплекса

1.1 Описание структуры комплекса

Общая структура комплекса представлена на рисунке 1.1.

Рисунок 1.1 - Общая структура комплекса

На технологическом сервере размещена технологическая БД Oracle и сервер Oracle. К технологическому серверу подключаются технологические рабочие места, оснащенные клиентами Oracle. Хранение временных и кумулятивных аналитических данных осуществляется в БД SQL-сервера (FireBird). В процессе работы предприятия в технологический сервер поступают данные, обрабатываемые ПО сервера анализа. ПО сервера анализа выполняет две основные функции:

обработка данных технологической БД и формирование аналитической БД;

обработка запросов от АРМ к аналитической БД.

Упрощенная структура ПО сервера анализа показана на рисунке 1.2.



Рисунок 1.2 - Упрощенная структура ПО сервера анализа

ЦУ - центр управления, ДО - диспетчер обработок

В нужное время центр управления (ЦУ) запускает диспетчер обработок (ДО). ДО последовательно просматривает список задач, выбирает из множества обработчиков нужного обработчика для каждой задачи и запускает его. ЦУ также является сервером доступа к данным для АРМ аналитика.

1.2 Описание основных задач комплекса

Все задачи делятся на две группы: мониторинг и анализ.

К задачам мониторинга относятся задачи получение некоторых небольших наборов данных, дающих краткую общую характеристику некоторого фиксированного временного интервала функционирования исследуемого объекта. Имея постоянно вычисляемые показатели функционирования объекта, можно оперативно демонстрировать их пользователю с целью создания у него целостного представления об упомянутом функционировании (конкретнее, о кассовых продажах).

В число задач анализа входят традиционно выделяемые в ИАД задачи выявления ассоциаций, последовательностей, кластеризации, классификации и прогнозирования. Применительно к предметной области кассового учета продаж розничной торговли:

Ассоциации. Основная цель - анализ товаров, покупаемых совместно. Т.е. по данным за некоторый период вычисляется: количество фактов совместной продажи ассоциации товаров и объемы товаров в ассоциации на факт (среднее, минимум, максимум).

Последовательности. Основная цель - анализ изменения покупаемости товара после введения скидки. Анализ изменений покупаемости товара в результате введения скидки проводится главным образом в результате сравнения ее (покупаемости) в аналогичные временные промежутки до и после введения скидки.

Кластеризация. Основная цель - распознавание кластеров покупателей. У каждого чека (покупателя) выделяются некоторые признаки - в первую очередь общая сумма чека, количество позиций чека, группы купленных товаров. Производится калибровка и нормировка признаков.

Классификация. В результате кластеризации должны быть получены достаточно устойчивые кластеры, которые затем нужно описывать. По результатам классификации необходимо получить максимально полные описания классов покупателей. Сюда должны войти и признаки, по которым была проведена кластеризация, и ряд других признаков.

2. Выполненные задания

В ходе работы ставились задачи исследования стационарности ассоциаций. Были сформулированы несколько задач по реализации алгоритмов исследования. При выполнении заданий использовались данные о продажах из технологического сервера, а также данные о ассоциациях товаров из аналитического сервера.

2.1 Задание №1

2.1.1 Постановка задачи

Необходимо выявить частоту появления ассоциаций.

Порядок решения задачи:

Использовать таблицу дневных ассоциаций мощностью 2 и таблицу дневных продаж товаров.

Сформировать в отдельной БД Firebirb таблицу следующей структуры: <Артикул1, Атрикул2, МестоХранения, НачДата, КонДата, Процент1, Процент2, Процент3, Процент4, Процент5, Процент6>.

При каждом запуске программа должна получать отсортированные пары артикулов из своей таблицы и из таблицы дневных ассоциаций за весь имеющийся период, находить необработанную пару и обрабатывать, начиная с нее. При этом по таблице количества продаж ассоциаций нужно находить списки дат, когда продавались оба данных товара. Отношение количества дней совместных продаж к количеству дней одновременных продаж фиксируем как Процент1.

Реализовать программное средство визуализации результатов обработки. Его функции: просмотр пар товаров с процентом, входящим в задаваемые границы. Две основные формы отображения: диаграмма процентов по парам товаров; диаграмма процентов по парным товарам для заданного товара. В обоих случаях отображать интервал дат, за который имеются данные. Для товара (пары) отображать: артикулы, наименования, диапазоны дат пары.

2.1.2 Описание приложения

Согласно поставленной задаче был написан скрипт для создания базы данных и таблицы. Текс скрипта приведен в приложении А. Листинг программы приведен в приложении Б. Далее на рисунках 2.1 и 2.2 представлены экранные формы визуализатора результатов обработки. На рисунке 2.3 представлена форма обработчика.

Рисунок 2.1 - Форма диаграммы процентов по парам товаров

Рисунок 2.2 - Форма диаграммы процентов по парам товаров для заданного товара



Рисунок 2.3 - Форма обработчика

интеллектуальный анализ ассоциация

2.2 Задание №2

2.2.1 Постановка задачи

Исследовать стационарность ассоциации товара А с товаром В (найти условные вероятности), т.е. как велика доля продаж, совместных с товаром В среди всех продаж товара А, а также как велика доля продаж без товара В среди всех продаж товара А.

Порядок решения задачи:

Из аналитической БД использовать таблицу дневных ассоциаций товаров мощностью 2.

Из технологической БД использовать таблицы чеков, позиций чеков, номенклатуры и классификаторов.

Сформировать в отдельной БД Firebirb таблицу следующей структуры: <Артикул1, Атрикул2, МестоХранения, НачДата, КонДата, Процент1, Процент2, Процент3, Процент4, Процент5, Процент6>.

При каждом запуске программа должна получать отсортированные пары артикулов из своей таблицы и из таблицы дневных ассоциаций за весь имеющийся период, находить необработанную пару и обрабатывать, начиная с нее. При этом по таблицам чеков и позиций чеков нужно находить общее количество чеков и количества фактов продаж каждого из этих товаров. Отношение количества совместных продаж к количеству продаж товара А фиксируем как Проце...