×
Россия +7 (909) 261-97-71

Не знаете, как составить файл robots.txt?

Россия +7 (909) 261-97-71
Шрифт:
4 3856
Подпишитесь на нас в MAX

Google Webmaster Central анонсировал новый инструментRobots.txt Generator. Это своего рода переводчик на язык robots.txt, который поможет тем, у кого создание данного файла вызывает трудности. Теперь чтобы запретить или разрешить индексацию элементов сайта, их нужно просто указать в Robots.txt Generator. При желании можно прописать определенные условия для файлов robots.txt тех или иных страниц/разделов сайта.

Написанный файл можно проверить с помощью специального анализатора robots.txt analysis tool. После этого нужно сохранить созданный файл в корневом каталоге сайта. Robots.txt Generator создает файлы, которые будут понятны Google-боту и большинству других крупных роботы. Но есть вероятность, что некоторые роботы не поймут всех функций robots.txt, которые использует генератор.

Следует помнить, что встречаются и недобросовестные роботы, которые игнорируют содержание файла robots.txt и сканируют все закрытые от индексации элементы сайта. В этом случае контент сайта нужно защитить паролем и не полагаясь на robots.txt.

Отметим, многие вебмастера отмечают полезность сервиса Google Webmaster Central. Здесь можно посмотреть, по каким запросам находят сайт, на каких он позициях в выдаче и по каких запросам больше всего переходят на сайт. «"Популярные поисковые запросы" и "Популярные запросы с кликами" в статистике отличаются (+ можно уточнять по типу поиска, региону и дате) и эти отличия наводят на интересные мысли - попробуйте сами и вам понравится», - говорит известный блогер Дмитрий Голополосов (aka Dimok).

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Ярослав Домбровский
    834
    комментария
    0
    читателей
    Ярослав Домбровский
    больше года назад
    Олег, ну ка ну ка, о вашем роботе поподробнее...
    -
    0
    +
    Ответить
  • Олег Сахно
    483
    комментария
    0
    читателей
    Олег Сахно
    больше года назад
    Робот, например, вот для этих целей:

    https://www.seonews.ru/analytics/
    http://www.4p.ru/main/research/25583/

    Да мало ли, чего можно индексировать в нашем многострадальном интернете ;)
    -
    0
    +
    Ответить
  • Гость
    больше года назад
    >>Следует помнить, что встречаются и недобросовестные роботы, которые игнорируют содержание файла robots.txt и сканируют все закрытые от индексации элементы сайта. В этом случае контент сайта нужно защитить паролем и не полагаясь на robots.txt.

    чё за бред? впервые слышу
    -
    0
    +
    Ответить
  • Олег Сахно
    483
    комментария
    0
    читателей
    Олег Сахно
    больше года назад
    >чё за бред? впервые слышу

    Это вы о чем говорите? Не верите в наличие недобросовестных роботов? Мой робот, например, не обращает внимание на robots.txt и индексирует то, что считает нужным. Вот Вам пример недобросовестного робота, который описан в новости
    -
    0
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Как ChatGPT выбирает компании для рекомендаций: что уже известно и как бизнесу подготовиться к эпохе AI Search
Игорь Антонов
1
комментарий
0
читателей
Полный профиль
Игорь Антонов - Для молодых сайтов в YMYL-тематиках я бы добавил отдельный блок про согласованность сущности: одинаковые название, телефон, адрес и перечень услуг на сайте, в картах, каталогах и профильных публикациях. Мы сейчас проверяем это на новом медицинском проекте narkologmsk.ru — без массовых анкорных ссылок, через подтверждённые карточки и содержательные материалы. Было бы полезно увидеть в продолжении сравнение источников, которые чаще цитируют Google AI Overviews и ChatGPT именно для локальных запросов.
Мы сократили рутину SEO-специалиста на 95% – вот архитектура, которая это сделала
Гостьkorayaskin
2
комментария
0
читателей
Полный профиль
Гостьkorayaskin - Можно также посмотреть разбор инструментов типа KeywordKick — помогает быстрее понять, где именно конфликт сигналов.
Рейтинг GEO-агентств для ecom в России: как продвигать интернет-магазин в нейросетях
Игорь
6
комментариев
0
читателей
Полный профиль
Игорь - Как раз сейчас пытаемся продвинуть свой интернет-магазин спортивных товаров для нейросетей, чтоб почаще нас упоминали. Работаем с Zenlink. Привлекло то, что у них есть реальные кейсы и к работе адекватно подходят. Сначала заказали просто анализ, чтоб они проверили, как нас вообще нейросети упоминают. Интересовала Алиса, ЧатГпт, и ДипСик. Там конечно все довольно печально было... Упоминаний мало. Но после того как мы свой сайт оптимизировали по их советам и они выполнили аутрич, плюс GERM, упоминаться стали чаще. В Алисе и ГПТ особенно, в ДипСик поменьше рост, но тоже есть. Это воодушевляет, конечно. И даже было пару клиентов, которые нас именно через нейросеть нашли. Сейчас опрос проводим, чтоб реальную пользу для себя понять. И вот, она уже есть. На мой взгляд эта услуга подходит тем бизнесам у кого большой средний чек, тогда даже пару клиентов с лихвой отбивают затраты на такое продвижение.
Рынок безалкогольных напитков в 2026 году: как категория продает через доверие к бренду
Алексей
1
комментарий
0
читателей
Полный профиль
Алексей - Все бы хорошо, но это в прошлом. В 2026 г. о росте 2020-2025 гг. остается только мечтать. Рынок БАН перешел к снижению. К серьезному снижению.
Конференция GEO 2026: как брендам попасть в ответы нейросетей
Дмитрий Севальнев
0
комментариев
0
читателей
Полный профиль
Дмитрий Севальнев - Мощно, мощно!
Яндекс открыл продажи через Алису и Поиск для продавцов без сайтов
Дмитрий Орлов
1
комментарий
0
читателей
Полный профиль
Дмитрий Орлов - Прикольно, покупать через колонку-))
Яндекс выложил в опенсорс языковую модель, которая лежит в основе быстрых ИИ-ответов в Поиске
Роман Каржонков
1
комментарий
0
читателей
Полный профиль
Роман Каржонков - Молодцы! Такие AI-модели могут широко используется в корпоративных, обучающих и научных АI-enabled платформах.
Сервисы для создания квизов: сравнение по конверсии, гибкости сценариев и интеграциям
Виктор
1
комментарий
0
читателей
Полный профиль
Виктор - Без сервиса FormDesigner.ru эта подборка будет не полной. Удивлен, почему вы его не включили в список?
5 полезных сервисов для работы с учебными текстами
Anna B.
2
комментария
0
читателей
Полный профиль
Anna B. - Отличный разбор, очень своевременно!
Сайт компании в 2026 году: что проверяет Роскомнадзор и как не получить штраф
Олег Черников
1
комментарий
0
читателей
Полный профиль
Олег Черников - Дима спасибо, отличный обзор! За ГОСТ Р 52872-2019 спасибо! Давно около него ходил.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
393
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
142
Комментариев
130
Комментариев
121
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
66
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!