Яндекс.Диалоги запустили новый инструмент обработки естественного языка

Команда Яндекс.Диалоги представила новый инструмент для тестирования обработки реплик. С его помощью разработчик сможет выбирать реплики из логов запросов пользователей навыка и проверять, как их обрабатывает NLP.

Раньше разработчикам приходилось тестировать различные варианты запросов самостоятельно, разбирая логи навыка в поиске подходящих и неподходящих реплик. А теперь для этого можно использовать новый инструмент и тестировать обработку реплик на реальных запросах пользователей – с междометиями, различными словоформами или схожими по смыслу фразами.

Инструмент работает в двух режимах:

В режиме «Грамматика» можно посмотреть на те запросы из логов общения пользователя с навыком, на которые срабатывает интент. В этом режиме удобно находить фразы, которые не хочется обрабатывать, и добавлять их в «Отрицательные тесты».

Например, навыку нужно обрабатывать запрос «играть», но слова «игрок» или «игра» не должны в него попадать.

Второй режим – «Семантический поиск» построен на основе машинного обучения. Инструмент подбирает фразы, наиболее похожие по смыслу на те, которые обрабатывает интент. Так удобнее всего искать запросы, которые ранее не обрабатывались навыком.

Например, для интента «согласие» можно выбрать запросы вроде «согласен» и «да». Семантический поиск дает понять, что пользователи на этом шаге говорят и «ок», «окей» или что-то еще.

Подробнее о работе и новой функциональности можно прочесть в документации.