ИИ продолжает учится понимать запросы пользователей

Компания MTS AI вместе со Сколтехом создали датасет (набор данных) RuPAWS, с помощью которого можно обучать и тестировать модели для индентификации парафразов.

Справка 

Парафраз (или парафраза) — это пересказ исходного предложения другими словами. Их точная идентификация и соответствующие датасеты необходимы для обучения поисковых систем, языковых голосовых помощников, чат- и войс-ботов. Благодаря точному распознаванию парафразов, ИИ-помощники будут корректно отвечать пользователям приложений и веб-сервисов и предоставлять информацию, строго соответствующую их запросам.

Датасет RuPAWS состоит из 17 346 пар парафразов и содержит большое количество предложений, в которых много одинаковых слов, но смысл при этом разный. Это фразы наподобие «Может ли плохой человек стать хорошим?» и «Может ли хороший человек стать плохим?».

Человек легко понимает, что эти предложения не являются парафразами, но ML-модели, обученные на классических датасетах, могут ошибаться.

По словам Никиты Мартынова инженера MTS AI от других русскоязычных датасетов RuPAWS отличается тем, что фокусируется на редких примерах парафразов, которые вызывают особые сложности при классификации – такой подход называют состязательными атаками (adversarial attacks) на системы машинного обучения”.

Первыми идею такого датасета предложили авторы PAWS, аналогичного датасета для английского языка. В его основе лежат тексты из социальных сетей и Википедии, поэтому собранные данные подходят для многих практических задач.

Для русского языка уже существуют датасеты для классификации парафразов, но в них не хватает сложных примеров. Эта проблема теперь может решаться с помощью датасета RuPAWS.

“Эксперименты показали, что модель, обученная на данных из обоих датасетов, практически не теряет в качестве при классификации примеров, но при этом точность работы на сложных примерах возрастает почти в два раза, до 79%”, — сообщила Ирина Кротова, старший разработчик в группе NLP MTS AI.