Robots.txt – один для всех
Накануне Google, Yahoo! и Microsoft
Поддерживаемые директивы robots.txt:
Disallow
Allow
use of wildcards
Sitemap location
Поддерживаемые мета-теги robots.txt:
noindex
nofollow
noarchive
nosnippet
noodpt
Напомним, ранее Google и Yahoo! уже сообщали о принятии общего стандарта файла robots.txt, Microsoft тогда поддерживал не все, но большинство директив. 3 июня этого года все три поисковика заявили об унификации своей работы со стандартом REP (Robots Exclusion Protocol). В тот же день на официальных ресурсах вышеперечисленных поисковиков были опубликованы посты с перечнем поддерживаемых директив и мета-тегов robots.txt, а также подробное описание их назначения.
Здесь можно ознакомиться с постами
Случилось что-то важное? Поделитесь новостью с редакцией.