RTF

... Яндекс индексирует не только документы html. Кроме них доступными для индексации являются документы следующих типов: PDF (файл Adobe Acrobat), DOC (MS Word), RTF (Reach text format). Также Яндекс индексирует сайты, созданные на основе Flash-технологий. А вот Рамблер индексирует только файлы html, htm, shtml, а динамические ...

... неправильного content-type - это загрузка robots.txt в нетекстовом формате. Популярные ошибки - это загрузка robots.txt в формате Word документа (примеры: 1 , 2 , 3 ), RTF (примеры: 1 , 2 , 3 ) и HTML. Были найдены даже файлы роботса в форматах LaTex и KOffice (unix-based текстовый формат). Некоторые серверные программы (т. н....