Robots.txt – один для всех

Россия+7 (495) 960-65-87
Шрифт:
4 1979

Накануне Google, Yahoo! и Microsoft совместно детализировали, каким образом каждый из них поддерживает файл robots.txt и соответствующие мета-теги. Отметим, что это не реализация нового стандарта (как это было с протоколом sitemaps), это прояснение стандартного способа блокирования доступа роботов поисковых систем к веб-сайтам. Большая тройка официально представила основной набор robots.txt и мета-тегов директив, которые поддерживает каждая из них.

Robots.txt – один для всех

Поддерживаемые директивы robots.txt:
Disallow
Allow
use of wildcards
Sitemap location

Поддерживаемые мета-теги robots.txt:
noindex
nofollow
noarchive
nosnippet
noodpt

Напомним, ранее Google и Yahoo! уже сообщали о принятии общего стандарта файла robots.txt, Microsoft тогда поддерживал не все, но большинство директив. 3 июня этого года все три поисковика заявили об унификации своей работы со стандартом REP (Robots Exclusion Protocol). В тот же день на официальных ресурсах вышеперечисленных поисковиков были опубликованы посты с перечнем поддерживаемых директив и мета-тегов robots.txt, а также подробное описание их назначения.

Здесь можно ознакомиться с постами Google, Yahoo! и Microsoft.

Читайте нас в Telegram - digital_bar

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Гость
    больше года назад
    Хм..то есть noindex'а теперь достаточно, чтобы боты гугла не учитывали внешнюю ссылку?
    -
    0
    +
    Ответить
  • Олег Сахно
    483
    комментария
    0
    читателей
    Олег Сахно
    больше года назад
    Гость, а вы новость читали? Там же про < meta> тэги написано. Они действуют на всю страницу. При чём тут конкретная ссылка и яндексовский тэг <noindex></noindex>?
    -
    0
    +
    Ответить
  • Гость
    больше года назад
    а яндексу это никак не помешает?
    -
    0
    +
    Ответить
  • Олег Сахно
    483
    комментария
    0
    читателей
    Олег Сахно
    больше года назад

    Раньше же не мешало :)
    -
    0
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Кейс: как продвинуть сайт производителя мебели на заказ в Москве
Art Moderator
2
комментария
0
читателей
Полный профиль
Art Moderator -
Рейтинг «Известность бренда SEO-компаний 2017»: народное голосование
Гость
1
комментарий
0
читателей
Полный профиль
Гость - 1) Ingate 2) Ашманов 3) Кокос 4) Russian Promo 5) Netpeak
«Баден-Баден»: как выйти из-под фильтра
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Здравствуйте! У меня совсем новый сайт (около месяца). Как только добавила страницы - были на 64, 45 и т.д. местах в выдаче яндекса по нч и сч запросам, но через несколько дней улетели за пределы 200. Что это баден - баден или песочница? Текст вроде не спамный, но мне трудно судить. Сайт portretnazakaz.ru
32 инструмента в помощь SEO-специалисту
Chaser
1
комментарий
0
читателей
Полный профиль
Chaser - Рекомендую бесплатную альтернативу Frog и Netpeak - SiteAnalyzer ( site-analyzer.ru/ ) Странно что не включили в обзор
Второе дыхание ссылочного продвижения
Rookee.ru
24
комментария
0
читателей
Полный профиль
Rookee.ru - Еще лучше, когда продвижение осуществляется комплексно :)
Исследование: влияние smart-ссылок на продвижение по СЧ-запросам
Анатолий Шевчик
1
комментарий
0
читателей
Полный профиль
Анатолий Шевчик - +1097988
Западные специалисты выяснили, как повысить позиции ресурса в выдаче Google
Максим Мирошник
2
комментария
0
читателей
Полный профиль
Максим Мирошник -
Контекст под SEO. Как поисковая реклама помогает позициям в органической выдаче
Сергей Дембицкий «Sima-Land.ru»
22
комментария
0
читателей
Полный профиль
Сергей Дембицкий «Sima-Land.ru» - Боже мой, неужели SEO-маги вернулись??? Открыть в роботс utm-метки для индексации и наплодить дублей...что? А расчеты в конце статьи про бюджет на SEO и контекст...откуда эти пропорции? Как по мне, SEO-магия вне Хогвартс. Спасибо, развеселили!
Все, что нужно SEO-специалисту. Обзор инструментов
Администратор Сайта
1
комментарий
1
читатель
Полный профиль
Администратор Сайта - Шаришь в seo! Сервис реально хороший
«Прямая линия» с Артуром Латыповым: отвечаем на вопросы
God Koss
1
комментарий
0
читателей
Полный профиль
God Koss - Добрый день! Есть сайты одной компании продвигающиеся в разных странах. .ru .com .net. На российском сайте два языка ru и en, на остальных до 10 языков. Недавно сайт ru по основному брендовому запросу выпал из выдачи Яндекс но после апа вернулся на вторую позицию. На вопрос аффилирования в тех поддержку, получит ответ, что всё в порядке и сайт com не учавствует в выдаче. Но он есть и занимает 1 место. Как быть в данной ситуации? Так же, после возврата в топ 10 по этому запросу зашла еще одна внутренняя страница. Могло ли это случиться из-за каннибализации запроса? Немного изменил description на внутренней, исключил вхождения брендового запроса. Жду апа. Хотел бы услышать ваше мнение. Заранее благодарю!
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
321
Комментариев
262
Комментариев
234
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
97
Комментариев
97
Комментариев
95
Комментариев
86
Комментариев
80
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55
Комментариев
54
Комментариев
53

Отправьте отзыв!
Отправьте отзыв!