Как ИИ-агент писал описания для 10 тысяч запчастей и что он выдумал сам

Сергей Морозов

CEO Agency Direct Marketing

Какую проблему мы решали

Человек, которому нужна запчасть, ищет по детали и по технике: «шайба для бороны БДТ-7А». У карточки без описания нет заголовка под такой запрос, нет текста, нет нормальных title и description. В выдаче она выглядит как строка с кодом, и выбрать ее можно только случайно.

Писать описания руками долго. Для каждой детали нужно понять, к какой технике она подходит, придумать заголовок, title и description и не повторить предыдущую тысячу карточек. По нашей прикидке, один человек делал бы это на весь каталог примерно шесть лет. Это оценка: среднее время на карточку, умноженное на количество (точно я не мерил). За шесть лет поиск успел бы стать другим, и первые описания пришлось бы переписывать. Поэтому мы решили поручить создание карточек для интернет-магазина ИИ-агенту.

Влияние на позиции и трафик мы пока не оценивали, прошло слишком мало времени. Поэтому в этой статье только то, что мы сделали и где ошибались.

Как мы собирали агента

Работали втроем. Я ставил задачи и принимал решения, ИИ-ассистент писал код и прогонял партии, а человек со стороны клиента проверял и принимал каждую партию. Первый генератор появился 10 июня. К 17 июля на сайте стояло около 1 200 карточек, то есть между первой строкой кода и публикацией прошло чуть больше пяти недель.

Сначала мы не пытались охватить каталог. Были пробные прогоны на 5, 20, 72, 150 и 200 карточках. 4 июля проверяющий со стороны клиента нашел в пилоте ошибки, и в тот же день мы запретили себе генерацию на весь каталог сразу. Запрет остается в силе до отдельного решения. 10 июля после пяти раундов правок по шестнадцати замечаниям пилот на 200 карточек приняли. 13 июля мы опубликовали пять карточек на живом сайте и проверили страницы, и только потом пустили остальные.

Как агент выдумывал

Первым был черновой прогон в июне. Агент обработал около 6 650 карточек меньше чем за сутки. Перед публикацией мы прогнали через проверку 5 342 карточки и увидели, что агент добавляет в описания то, чего ему никто не давал.

Вот примеры из этой проверки.

Во всех четырех случаях в названии товара не было ни слова про оригинал, гарантию или доставку. Агент добавил это сам. Для магазина это риск: если покупателю привезут неоригинальную деталь под надписью «оригинальная запчасть», отвечать будет магазин.

Мы решили, что публиковать можно только то, что есть в названии, и ужесточили правила. Единственный источник фактов теперь – название товара. Коды, дроби и слеши сохраняются посимвольно. Слова «оригинал», «гарантия», «доставка» и «в наличии» запрещены, если этого нет в данных товара. H1 не короче 20 символов, title до 75, description до 150, дубли и незакрытые HTML-теги отсекаются.

Но дальше выяснилось, что правила тоже надо проверять. 15 июля мы сгенерировали вторую партию на 500 карточек и стали разбирать ее построчно. В 258 карточках из 500, это 52 процента, агент взял факт из названия категории, а не из названия товара. В листе «ВКЛАДЫШИ» в 13 карточках из 13 агент сам расшифровал сокращения «шат» и «кор» в заголовке, хотя в названии расшифровки не было. Партию мы не опубликовали. В правила добавили прямой запрет брать факты из категории и расшифровывать сокращения, а в код две программные проверки с повтором генерации.

После этого мы пересобрали партию, проверили на карточках с исходной ошибкой, и обе находки закрылись. Остался один узкий риск: на неоднозначных сокращениях агент иногда ставит общее слово вместо точной расшифровки. Он записан в документах проекта, и мы о нем помним.

Партию 2 опубликовали 16 июля, 500 карточек из 500, и отдельная независимая проверка подтвердила все 500. Партию 3 тоже на 500 карточек опубликовали 17 июля. Партия 4 на 1 000 карточек сгенерирована 23 июля. По состоянию на 11 сентября она готова и ждет публикации.

Как карточка попадает на сайт

Каталог магазина мы забираем через REST API магазина. Агент работает на модели Claude и пишет для каждой карточки H1, title, description, описание и характеристики. Результат проходит программные проверки, а если проверка находит нарушение, карточка генерируется заново.

Дальше все складывается в таблицу Excel. Спорные строки мы смотрим руками. Таблицу целиком получает человек со стороны клиента и принимает или возвращает с замечаниями. Только после приемки карточки уходят на сайт через тот же REST API, одним запросом на карточку. После публикации мы еще раз проверяем живые страницы построчно, сравнивая их с принятой таблицей.

Получается четыре уровня контроля: программные проверки, ручной просмотр спорных строк, приемка клиентом и проверка после публикации. Кажется много, но именно приемка клиентом нашла в июле ошибки, которые автоматика пропустила.

Что я из этого вынес

Агент сильно ускоряет работу, но проверять его приходится людям, и чем больше партия, тем нужнее проверка. Ошибки не видны на десяти карточках, они проявляются на сотнях. Правила для агента надо писать заранее, до первого прогона, и проверять сами правила на каждой партии. Партиями мы продолжаем, правило «не весь каталог сразу» у нас остается.