Internet Портал МЭИ(ТУ)
Сентябрь 2018
Пн Вт Ср Чт Пт Сб Вс
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30

Описание модуля автоматизированного обновления и классификации и

Данный модуль предназначен для автоматического обновления англоязычных журнальных публикаций и автоматического разнесения их по классам Feature Selection, Text Classification и Information Retrieval.

Непосредственно модуль разнесен на несколько отдельных частей: часть, подключаемая в виде модуля к данному сайту часть, осуществляющая непосредственно обновление и классификацию документов.

Часть модуля, ответственная за отображение модуля на сайте, является скриптом classification.php, лежащим в разделе с подключаемыми модулями. Подключается данный модуль аналогично другим модулям сайта, таким как новости сайта, архив новостей, карта сайта и т.п.

Вторая часть модуля называется rss_parser.php, и при запуске данного скрипта осуществляет разбор всех заданных RSS потоков и автоматическую классификацию новых документов. Даннай скрипт автоматически запускается раз в две недели, используя cron. Настройка данного интервала доступна администратору сайта. Для классификации данный скрипт использует обученный модифицированный центроидный метод, описание которого дано в моем дипломе. После его защиты данный диплом будет доступен на данном сайте.

Для проведения обучения классификатора была создана выборка из приблизительно 5500 документов по тематикам, близких к заданным. Использование данной выборки разрешено любых целей, она доступна для загрузки в нескольких форматах. Все выборки заархивированы в ZIP. Размер каждого архивов составляет ~2,5 МБ.

Загрузить в формате  CSV.

Загрузить в формате XML.

Загрузить в SQL инструкциях. Данный формат является стандартным для основных реляционных баз данных и позволяет с легкостью загрузить данные в SQL базу.

 

Вход для преподавателей



Мы находимся:
МЭИ, корпус М, 3-й этаж.
Телефон: (+7 495) 362-74-07
Кафедра управления и информатики МЭИ
Сайт создан и поддерживается лабораторией интеллектуальных информационных систем (ЛИИС) УиИ