×
Россия +7 (495) 139-20-33

YaC 2020: Яндекс рассказал про новую технологию анализа текста Yati

Россия +7 (495) 139-20-33
Шрифт:
1 4101

На конференции YaC 2020 Яндекс анонсировал в «Поиске» новую технологию Yati, которая расшифровывается как Yet another transformer with Improvements. Это новая технология анализа текста, в рамках которой алгоритмы учатся распознавать связь между запросом и содержанием документов.

Тигран Худавердян, генеральный директор Яндекса в России, отметил, Поиск Ядекса перешел на анализ текста, основываясь на огромных нейросетях, на архитектуре трансформеров.

Что такое трансформер Yati 

Более подробно про трансформеры и сам Yati рассказала Екатерина Серажим, она отвечает за качество ранжирования в поиске Яндекса.

Есть два этапа обучения трансформера. Классическая техника – показываем им неструктурированные тексты. Берем текст маскируем в нем какой-то процент слов и заставляем наш трансформер угадывать эти слова.

Для Yati мы усложнили задачу: мы оказывали ему не просто текст какого-то документа, а реальные поисковые запросы и тексты документов, которые видели наши пользователи. И просили Yati угадывать, какой документ понравится пользователю, а какой нет. Для этого у нас есть эталон – это экспертная разметка наших асессоров, которые оценивают по сложной шкале каждый документ, насколько он релевантен запросу.

Далее Яндекс берет этот массив данных и дообучает трансформер угадывать эту экспертную оценку – так он учится ранжировать.

Екатерина Серажим, Яндекс

Для чего используется трансформер

Тигран Худавердян привел пример: если вы не помните, как называется фильм, но примерно помните, что там было, можно именно так Яндексу сказать. Поисковая машина поймет по смыслу, какой фильм имелся ввиду и найдет его.

Почему трансформеры – это важно

По словам Екатерины Серажим, трансформеры дали Яндексу рекордный уровень в качестве поиска. Они существенно улучшили то, как работает поисковый алгоритм.

«Это самое большое изменение в поиске Яндекса за последние 10 лет, и оно заложило фундамент на следующие годы», – отмечает Тигран Худавердян.

Также на конференции YaC 2020: 

(Голосов: 10, Рейтинг: 4.5)
Читайте нас в Telegram - digital_bar

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Виктор Петров
    3
    комментария
    0
    читателей
    Виктор Петров
    1 месяц назад
    Серьезно? Вот тот трэш, что творится на выдаче Яндекса последние полгода - это улучшение?
    -
    0
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Кейс: как за 30 дней вывести новый сайт в ТОП выдачи Google
Сергей
2
комментария
0
читателей
Полный профиль
Сергей - Прошёл у Паши курс год назад, пытался продвигать свой сайт portativ.org.ua, но особых продвижений нет. Наверное сео уже умерло??
Облако тегов в интернет-магазине: прикладная инструкция по увеличению трафика
Юлия Дмитриева
2
комментария
0
читателей
Полный профиль
Юлия Дмитриева - Согласна с вами, что в любом деле важен индивидуальный подход:)
Специалисты в Рунете заметили глобальную накрутку поведенческих факторов
Дмитрий Кулаевский
1
комментарий
0
читателей
Полный профиль
Дмитрий Кулаевский - кто-нибудь знает как с этим бороться? очень много такого трафа идёт с июля, сайт сильно просел
Как стандартизировать данные семантики с помощью логарифмов
Юлий
1
комментарий
0
читателей
Полный профиль
Юлий - Чем снималась коммерцелизация?
Яндекс возобновил «показательные порки» за накрутку поведенческих факторов
Антон
1
комментарий
0
читателей
Полный профиль
Антон - Никакой не выпал. Кроме клиентского сайта, который проседал из-за скрутки, о чем Я.Поиску сообщали и клиенту тоже. Ноль реакции от поисковика (продолжайте развивать сайт, никаких проблем нет ...). Клиенту надоело и он заказал накрутку у подрядчиков. Мы искренне ждали бана, сообщали об этом клиенту, т.к. мы все таки делаем все остальное для развития. Как итог: с лета полет нормальный. Сайт растет, никаких проблем. Случайно даже стажер палил тех поддержке факт использования накрутки. И ничего. Сайт растет дальше. Если они не могут ничего принять даже после признания факта накрутки, что они могут сделать с жалобами на накрутку конкурентов?! Никогда не одобряли данные методы, но ... похоже ... все работает :)
От количества к качеству: что происходит с рекламой в Рунете
Евгений
1
комментарий
0
читателей
Полный профиль
Евгений - Истину глаголите!
Михаил Ляшенко (PostMarket): о рынке инфлюенс-маркетинга и рекламе у блогеров
Григорий Романченко
1
комментарий
0
читателей
Полный профиль
Григорий Романченко - Неудивительно, что все хвалят PostMarket, это действительно достойный сервис, недавно стали через них продвигать свой продукт, результаты есть, продажи выросли на 40% и это только начало.
«Нет в наличии»: что делать с карточками отсутствующего товара
freyr energy
1
комментарий
0
читателей
Полный профиль
freyr energy - Thank you so much @ admin for share your valuable thoughts and ideas We always enjoy your articles its inspired a lot by reading your articles day by day. So please accept my thanks and congrats for success of your latest series. We hope, you should published more better articles like ever before solar rooftop
15 языков программирования, за знание которых платят выше среднего
Любомир
2
комментария
0
читателей
Полный профиль
Любомир - Ну и ЗП: ни слова о том что она варируеться от 0 до 100 000$ в год!!! Что до высокой зп надо несколько лет етим заниматся! Что 100 000$ в год на западе заробатывают, а где нибудь в азиатских страннах 100$ в год. В СНГ первые годы в разработчика ЗП как в грузчика на складе - это где то 4-5 тыс. долларов в год, и уже имея несколько лет опыта возможно дойти до 10-20 тыс. долларов в год! Почему нет конкретики? Меня лично нервирует то что людям внушают великие ЗП в АйТи, а люди тупые и ведутся!!!!
Яндекс тестирует оценки сайта в сниппете
Сергей Демин
8
комментариев
0
читателей
Полный профиль
Сергей Демин - вопрос такой: где получить оценку о сайте? а не об организации
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
384
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
113
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
91
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
60
Комментариев
59
Комментариев
57

Отправьте отзыв!
Отправьте отзыв!