Автоматическая расстановка знаков препинания с помощью нейронных сетей

Аннотация

Решена задача автоматической расстановки знаков препинания в тексте, разделенном на предложения. Определены позиции таких знаков препинания, как запятая, тире, двоеточие, восклицательный и вопросительный знаки. Рассмотрены два подхода к решению задачи.

В первом — задача сводится к классификации n-грамм. Класс n-граммы определяются по виду знаков препинания после ее k-го токена (n = 5, k = 3). В качестве классификатора использован многослойный перцептрон, на вход которого подаются векторные представления n-грамм, формируемые с применением модели word2vec.

Во втором — нейронная сеть с архитектурой трансформера, принимающая входную последовательность токенов (ВП), освобожденную от знаков препинания, обучается генерировать целевую последовательность токенов (ЦП), позволяющую расставить в исходном предложении знаки препинания. ЦП создается по ВП в результате замены токенов, связанных со знаками препинания соответствующими маркерами. Токены ВП, не связанные со знаками препинания, переносятся в ЦП без изменений. Для сокращения словаря токенов словоформы заменены леммами, а элементы текста, содержащие символы, отличные от букв русского алфавита, — специальными токенами. Для той же цели специальными токенами заменены имена, отчества, фамилии, топонимы и числительные. В качестве инструмента, определяющего части речи и именованные сущности, предложен классификатор словоформ. Проанализированы ВП и ЦП двух видов. ВП второго вида формируется по ВП первого вида в результате добавления к леммам обозначения части речи. ЦП различаются способом замещения токенов, связанных с запятыми, соответствующими маркерами. В ЦП первого вида маркером замещены токен и последующая запятая, в ЦП второго вида — токен и предшествующая запятая. Эффективность моделей оценена показателями precision и F₁, вычисляемыми для каждого класса, а затем усредненными. При использовании классификатора значение F₁ равно 0,77, а в случае трансформера — 0,86.