МЕТОДЫ ИНТЕЛЛЕКТУАЛЬНОЙ ОБРАБОТКИ ТЕКСТОВ (TEXT MINING)
В статье рассматриваются методы интеллектуальной обработки текстов (Text Mining), которые позволяют преобразовывать слабоструктурированные текстовые данные в структурированную и легко анализируемую информацию. С ростом объемов данных в цифровую эпоху Text Mining становится незаменимым инструментом анализа текстов в различных сферах. Эти технологии находят широкое применение в информационной безопасности, где анализ текстов помогает выявлять угрозы и аномалии, в здравоохранении — для обработки медицинских записей и извлечения диагностической информации, в маркетинге — для анализа потребительских предпочтений, а также в юридической практике, где автоматизация анализа документов повышает точность и снижает временные затраты. В статье подробно рассматриваются как традиционные статистические методы, такие как TF-IDF, Word2Vec, Latent Dirichlet Allocation (LDA), так и современные подходы, включая модели глубокого обучения на основе архитектуры трансформеров, например BERT, GPT и их производные. Современные методы демонстрируют значительные успехи в учёте контекста, анализе семантики и извлечении скрытых смыслов из текстов, что делает их незаменимыми для решения сложных задач. Особое внимание уделено сравнению эффективности различных методов и их применимости в задачах автоматизации. Описаны возможности интеграции Text Mining для анализа больших объемов данных, выявления закономерностей и автоматизации процессов извлечения знаний. Представленные результаты исследования подчеркивают актуальность использования этих технологий для повышения эффективности работы специалистов, ускорения процессов анализа информации и решения задач в ключевых отраслях, что открывает новые перспективы для внедрения интеллектуальных систем обработки данных.
Сведения
- Журнал
- Bulletin of the CAA
- Опубликовано
- 2025 · Т. 36, № 1
- Язык
- Русский
- Цитирований
- 1
- ISSN
- 2413-8614
- Издатель
- JSC "Academy of Civil Aviation
- Аффилиации
- Евразийский национальный университет им. Л.Н. Гумилева, Астана, Казахстан
Северо-Казахстанский университет им. Манаша Козыбаева, Петропавловск, Казахстан