Главная > Поиск по тегу > ROBOTS.TXT

ROBOTS.TXT: поиск по тегам

Google объяснил правила robots.txt для ИИ-ботов и URL с эмодзи

Google объяснил правила robots.txt для ИИ-ботов и URL с эмодзи

Представители компании разобрали различия между запретом обхода страниц и ограничением использования контента для обучения нейросетей

Марал Гаипова
23 Октября

0 1833

Как составить правильный robots.txt для Яндекса и Google. Инструкция

Как составить правильный robots.txt для Яндекса и Google. Инструкция

Примеры готового файла robots.txt. Решения для сайтов на WordPress, Битрикс, OpenCart и Joomla

PromoPult
11 Декабря

0 2208

Как улучшить индексацию, видимость и мобильную оптимизацию сайта с помощью метатегов

Как улучшить индексацию, видимость и мобильную оптимизацию сайта с помощью метатегов

И избежать при этом ошибок

Sape
3 Октября 2024

0 3443

Основные ошибки в robots.txt

Основные ошибки в robots.txt

И способы их исправления

СЕО-Импульс
7 Мая 2024

0 4436

Как закрыть сайт от индексации: основные способы

Как закрыть сайт от индексации: основные способы

СЕО-Импульс
2 Апреля 2024

0 5279

Дзен запретил краулеру OpenAI собирать данные со своей платформы

Марина Ибушева
22 Февраля 2024

0 7864

Google обновил документацию по robots.txt и структурированным данным

Марина Ибушева
22 Июня 2021

0 6308

Google: для деиндексации страниц из поиска используйте noindex, а не robots.txt

Алина Назарова
10 Марта 2021

0 5269

Google: не используйте robots.txt, чтобы заблокировать индексацию URL с параметрами

Марина Ибушева
11 Ноября 2019

2 8924

Google: как заблокировать индексацию файлов Robots.txt и Sitemap

Google: как заблокировать индексацию файлов Robots.txt и Sitemap

Совет от Джона Мюллера

Марина Ибушева
8 Ноября 2019

0 9177

WordPress изменит подход к запрету индексации сайтов

WordPress изменит подход к запрету индексации сайтов

На смену robots.txt придет метатег Robots

Елизавета Лосева
3 Сентября 2019

0 6583

Google напомнил, что прекращает поддержку noindex в robots.txt с 1 сентября

Google напомнил, что прекращает поддержку noindex в robots.txt с 1 сентября

И порекомендовал замены для директивы

Марина Ибушева
30 Августа 2019

0 10612

Search Console напоминает удалить тег noindex из robots.txt

Search Console напоминает удалить тег noindex из robots.txt

1 сентября 2019 года он перестанет работать

Елизавета Лосева
29 Июля 2019

0 7439

Джон Мюллер: как ранжируются страницы, заблокированные robots.txt

Джон Мюллер: как ранжируются страницы, заблокированные robots.txt

Закрытые для сканирования страницы попадают в выдачу, если релевантны

Марина Ибушева
11 Июля 2019

0 8481

Google решил сделать протокол REP для robots.txt официальным стандартом

Google решил сделать протокол REP для robots.txt официальным стандартом

В рамках этой инициативы исходных код парсера robots.txt теперь выложен в открытом доступе

Елизавета Лосева
2 Июля 2019

0 6234

Google планирует полностью отказаться от директивы noindex в robots.txt

Google планирует полностью отказаться от директивы noindex в robots.txt

Валерия Полякова
22 Апреля 2019

2 9534

Индексация любой ценой: проверяем все до мелочей

Многослов
21 Февраля 2018

6 7087

Яндекс рассказал об изменениях в обработке robots.txt

Валерия Полякова
10 Июня 2016

0 7046

Энциклопедия интернет-маркетинга: составляем корректный robots.txt своими руками

Руслан Фатхутдинов
13 Января 2016

24 40094

Google рассказал, как ускорить индексацию robots.txt

Дарья Калинская
6 Января 2016

3 16834

Показать ещё

Отправьте отзыв!