Научный отчет № 4991

Название

Математическое и программное обеспечение сбора, интеллектуального анализа и поиска текстовой информации в больших (корпоративных) и сверхбольших (Интернет) хранилищах.

Авторы

Васенин В.А., Афонин С.А., Конев И.М., Козицын А.С., Коршунов А.А., Степанов Е.А., Титов А.С., Хазова Е.Е.

Аннотация

Основным объектом исследования в рамках проведения научно-исследовательской работы являлись математические модели, методы и алгоритмы, а также программное обеспечение, позволяющее проводить сбор текстовой информации, тематический анализ информации, кластеризацию, визуализацию, индексацию и поиск. Цель исследования заключалась в разработке новых математических методов и реализации на их основе программных модулей для создания новой версии системы для тематического анализа данных в больших и сверхбольших хранилищах. В рамках проведения работ были разработаны методы автоматического выделения терминов из коллекций документов и обучения морфологического анализатора, усовершенствованы методы тематического анализа, созданы и реализованы алгоритмы индексации текстовой информации. Также была разработана архитектура новой системы тематического анализа включающая в себя: - подсистему сбора информации; - модули обработки и загрузки информации; - модули обучения системы; - модули поиска и мониторинга; - подсистемы хранения. А в отдельном разделе отчета рассмотрены перспективные направления дальнейшего развития подобных систем и сделан обзор существующих наработок на этих направлениях.

Год публикации

2008 г.

Объём

123 с.

Научный руководитель

Васенин В.А.

Ключевые слова

математическое и программное обеспечение сбора, интеллектуального анализа и поиска текстовой информации в больших (корпоративных) и сверхбольших (Интернет) ъранилищах.