НЕЧЕТКАЯ ЛОГИКА НА БАЗЕ ЯЗЫКОВЫХ МОДЕЛЕЙ: ПОСТРОЕНИЕ ГИБРИДНОЙ СИСТЕМЫ КЛАССИФИКАЦИИ ДИАЛЕКТОВ И ОПРЕДЕЛЕНИЯ ДИАЛЕКТИЗМОВ

Аннотация

В данной работе поставлена цель создание информационной системы классификации диалектов и определения диалектизмов с использованием нейросетевой модели и механизма логического вывода на базе правил нечёткой логики. Данная система не имеет прямых аналогов для русского языка, что подчёркивает актуальность данной работы.
Для решения поставленной задачи использовался язык Python c библиотеками для обработки естественного языка, обучения нейронной сети, работы с трансферной моделью Google Bert и создания базы правил нечёткой логики для модели Мамдани.
В научно-исследовательской работе был выполнен анализ диалектологической предметной области и поиск методов решения задач диалектологии с помощью методов обработки естественного языка и машинного обучения. Автором была предложена архитектура нейросетевой модели для классификации диалектов и сформированы основные концепции алгоритма определения диалектизмов. Следующим шагом было произведено обучение нейросетевой модели на основе Bert и реализован экспериментальный алгоритм для поиска диалектизмов.