Поисковые системы научатся отвечать на вопросы

Группа студентов из университета Карнеги-Мелона разрабатывает проект JAVELIN. Ожидается, что созданная система сможет находить ответы на вопросы различной формулировки, отбирая и комбинируя нужную информацию. Проект JAVELIN направлен на разработку новых способов комбинирования естественного процесса лингвистической обработки информации, машинного перевода, новых технологий с многоязычными системами, реагирующими на различные типы вопросов и выбирающими необходимую поисковую стратегию в зависимости от потребности пользователя. Вместо запроса в виде ключевых фраз, пользователь сможет вводить вопросы любой сложности, начиная с элементарного вопроса «Где находится пустыня Атакама» и заканчивая более сложными, например, «Какова вероятность мирного урегулирования израильско-палестинского конфликта»? Система будет искать документы и ответы на многих языках, а также входить в диалог с пользователем для предоставления максимально релевантных результатов.

Перечислим научные положения проекта:

Реализация проекта JAVELIN - многоуровневая задача, решение которой зависит от типа вопроса, доступности информации, требований пользователя. Именно эти факторы определяют оптимальную QA (Question Answering) стратегию. Предлагается внедрение общей плановой инфраструктуры, которая совмещает в себе анализ модулей, информационные ресурсы, аналитический обзор и синтез ответов, которые необходимы для реализации программы «вопрос-ответ». Поддерживаются разнообразные типы информационных ресурсов (text, html, DBs, KBs).

Путь от полученного вопроса к предоставлению информации представляет собой ряд взаимозависимостей, которые представлены не просто в виде анонимных ссылок, а в виде хранилища обновляемой динамической информации, включающей в себя достоверные источники, различные алгоритмические методы, оценку актуальности той или иной тематики.

Составляющие полезной информации. Любой информации (I) может быть присвоена ценность в зависимости от ее необходимости аналитику (А) с учетом заданного контекста (Т) и вопроса (Q). Показатели полезности информации могут быть использованы для распределения возможных ответов в соответствии с Максимальной Маргинальной Релевантностью.

U = Argmaxk[F(Rel(I,Q,T),Nov(I,T,A),Ver(S,Sup(I,S)),Div(S),Cmp(I,A)),Cst(I,A)]

Все компоненты информации (факты, ссылки и т.д.), образуя ответ, могут классифицироваться по следующим параметрам:

• релевантность по отношению к запрашиваемой информации

• новизна (вероятность того, что аналитик с предлагаемой информацией еще не знаком)

• точность и достоверность информации из конкретного источника

• разнообразие ресурсов

• восприятие информации аналитиком

• временные издержки (время, потраченное аналитиком на восприятие информации

Таким образом, на сложный вопрос «Каковы последствия гражданской войны в Судане», система должна оценить, известно ли аналитику о разделении Судана на южную и северные части , и в этом случае сконцентрироваться на таких последствиях, как массовый голод, беженцы, религиозные репрессии и т.д. Более того, вопрос является достаточно общим, поэтому система предложит ответ, где указаны основные последствия, и предоставит интерактивную обработку информации.

По информации lti.cs.cmu.edu