Новая директива для robots.txt от Яндекса

Если на вашем сайте, например, используется параметр 'ref=', чтобы отследить, с какого источника на страницу переходят пользователи, то урлы выглядят так:

www.site.ru/some_dir/get_book.pl?ref=site_1&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_2&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_3&book_id=123

При переходе пользователя по каждой из этих ссылок отображается одна и та же страница с одинаковым содержимым. Параметр «ref=site_1» просто отслеживает, откуда поступает запрос. Применив директиву Clean-param, Яндекс сведет эти страницы и получит сигнал, что ему не нужно индексировать их вновь и вновь. Таким образом, сократится время, которое робот тратит на обхождение этих страниц, а эффективность индексации остальных страниц значительно повысится.

Несколько опрошенных оптимизаторов сошлись во мнении, что новая директива Clean-param будет полезной для многих сайтов. У вебмастеров появится возможность почистить форумы и значительно уменьшить количество страниц, индексируемых роботом поисковой системы.