Как замерять ответы нейросетей, если часть проверок закончилась ошибкой

Дмитрий Лукашов

Эксперт Русской школы управления по искусственному интеллекту, основатель школы прикладного ИИ

Такой замер позволяет проверить присутствие имени в конкретной ситуации, увидеть контекст упоминания и сохранить источники, на которые сослался сервис. Само упоминание при этом еще не означает обращение клиента или продажу.

У этой работы есть техническая сторона, способная исказить вывод еще до анализа текста. В плане могут стоять шесть проверок, но часть запросов не отправится, а часть ответов не загрузится. Если записать такие случаи как отсутствие имени, в отчете появится уверенный вывод о содержании ответов, которые никто не прочитал.

Разберем, как оформить результат без такой подмены. Основа примера – сохраненное наблюдение 18 октября 2026 года, с 12:10 до 12:13 мсл. В трех сервисах планировали проверить два запроса:

• Q1: «эксперт по ИИ»;

• Q2: «Посоветуй эксперта по ИИ для бизнеса».

Имя Дмитрия Лукашова в запросы не добавляли. Проверяли, появится ли оно в ответах. Это один исходный срез: влияние публикаций на результаты здесь не измерялось.

Сначала зафиксируйте, что произошло

В ChatGPT открыли отдельные временные диалоги без персонализации и выбрали веб-поиск. В обоих случаях появилось сообщение «Не удалось загрузить этот ответ». Для Q2 интерфейс также сообщил о поиске на 17 сайтах. Выполнение поиска для Q1 не подтверждено. Даже сообщение о завершенном поиске не показывает, каким был итоговый ответ и кого в нем рекомендовали.

В Perplexity до рабочего интерфейса не дошли. Две ячейки таблицы обозначают два запланированных запроса, но отправок было ноль. В Алисе получены два полных ответа, однако нейтральность существующего профиля не подтверждена. Это ограничение нужно сохранить вместе с результатами.

Разделите неизвестный результат и отсутствие упоминания

Итог журнала: шесть запланированных ячеек, четыре отправленных запроса, два полных ответа. Для четырех ячеек результат проверки упоминания – unknown, то есть неизвестно.

Ноль упоминаний можно поставить, когда доступен полный текст и проверяемого имени в нем нет. В двух сохраненных ответах Алисы упоминаний Дмитрия Лукашова не найдено. Запись «ноль упоминаний во всех шести ответах» была бы ошибкой: шести ответов нет.

Отдельно отмечайте, получен ли вообще список людей. По Q1 Алиса объяснила профессию и навыки, не назвав конкретных специалистов. Такой ответ нельзя использовать для определения места человека в рекомендации: списка кандидатов нет. По Q2 список есть, но проверяемого имени в нем нет. Это два разных результата, хотя упоминаний в обоих текстах – ноль.

Выберите знаменатель под вопрос

Одно число не описывает одновременно доступность сервиса и присутствие имени. В нашем примере полезно разделить три показателя:

• Покрытие плана: два полных ответа из шести запланированных ячеек, около 33%. Это показывает, какая часть плана дала материал для анализа.

• Получение полного ответа после отправки: два ответа из четырех отправленных запросов, 50%. Две недоступные ячейки Perplexity сюда не входят: запросы не отправлялись.

• Упоминания в прочитанных ответах: ноль из двух. Это результат только двух текстов Алисы, а не общая оценка трех сервисов.

Почему это важно, если при делении нуля и на два, и на шесть получается ноль? Меняется смысл утверждения. «Имени нет в двух прочитанных текстах» подтверждается наблюдением. «Имени нет во всех шести ответах» приписывает содержание четырем неизвестным результатам. Процент скрывает эту разницу, если рядом не указаны исходные количества.

Поэтому в коротком отчете лучше написать: «План – шесть ячеек. Отправлено четыре запроса, получено два полных ответа. В них имя не найдено. Еще четыре результата неизвестны». Здесь видно и содержание доступных ответов, и объем недостающих данных.

Соберите карточку одного наблюдения

Единица замера – конкретный сервис и точный запрос в зафиксированных условиях. Для каждой ячейки сохраните:

1. Дату, время и часовой пояс, видимый режим или модель. Если модель не указана, так и напишите.

2. Был ли диалог новым, использовались ли история, память и пользовательские инструкции. Не называйте профиль нейтральным, если это не проверено.

3. Факт отправки и число отправок, полный ответ либо точную ошибку. Добавьте снимок экрана и ссылки, которые действительно цитировал сервис.

4. Наличие имени, контекст упоминания и основание вывода. При неизвестном ответе оставляйте неизвестными также его цитаты и позицию человека.

Условия персонализации ChatGPT и Алисы не подтверждены как сопоставимые. Поэтому этот срез нельзя представлять как строгий сравнительный рейтинг сервисов. Два ответа также не дают оснований утверждать, что нейросеть никогда не рекомендует человека по другим запросам или в других условиях.

Что делать с таким результатом

Первый полезный итог замера – не место в рейтинге, а журнал, в котором видно, на какие вопросы уже можно ответить. Здесь подтверждено отсутствие имени в двух конкретных текстах Алисы. Содержание ответов ChatGPT и Perplexity осталось неизвестным. Утверждать, что эксперт отсутствует во всех трех сервисах, оснований нет.

Следующий шаг – восполнить пробелы при обычной доступности интерфейсов и записать новый запуск отдельно. Повод вернуться к недоступной ячейке – видимое изменение доступа; защитные проверки и ограничения обходить не нужно. Прежнюю ошибку сохраняют в журнале, формулировку запроса оставляют прежней, условия заново фиксируют. Число повторов определяют заранее и учитывают все результаты, а не только удобный ответ.

Если задача – сравнить замеры во времени, сначала нужно понять, сопоставимы ли набор запросов и условия. Рост числа прочитанных ответов сам по себе еще не означает рост видимости. Даже если позже имя появится, одного такого сравнения недостаточно, чтобы объяснить изменение новой статьей или правкой сайта.

Практический результат этого подхода – отчет, по которому можно выбрать следующее действие: восстановить незавершенную проверку, отдельно разобрать ответ без списка людей или изучить источники уже полученной рекомендации. Он помогает не принимать техническую недоступность за отсутствие эксперта и не выдавать небольшое наблюдение за доказанное влияние контентной работы.