Россия+7 (495) 960-65-87

Вопрос недели: решаем проблему некорректной индексации сайта

Россия+7 (495) 960-65-87
Шрифт:
4 4381

Что для вас значит пятница? Для нас это не только приближающиеся выходные, но и возможность помочь читателям в «Вопросе недели». На этой неделе разбираемся с некорректной индексацией сайта:

Сайт находился на доработке, в связи с чем был закрыт от индексации и проиндексирован поисковиками Яндекс и Google как 404 страница. Две недели назад сайт был открыт для индексации, но поисковики по-прежнему выдают 404 страницу. Как разрулить ситуацию?

Андрей Желудевич, директор b-l.by

Используйте «дурилки» Яндекса и Google для ускорения переобхода страниц сайта. Если открытие для индексации осуществлялось через админку сайта, проверьте дополнительно site.ru/robots.txt на предмет отсутствия строчки «Disallow: /». Также отправьте карту сайта sitemap.xml (если они имеется) в панели Вебмастера Яндекса и Google, что поможет роботу быстрее обойти все страницы сайта. Яндекс «съедает» открытый сайт для индексации за 2–3 обновления поисковой базы. Google индексирует очень быстро (пару дней), поэтому странно, что ваш сайт за 2 недели не обновился в индексе. Проблема может скрываться в некорректном robots.txt, либо в ответе сервера, его можно проверить тут.

Антон, ведущий специалист по поисковому продвижению

Для начала проверьте сайт по следующим пунктам:

    • Размещен ли sitemap.xml?
    • Корректен ли robots.txt?
    • Не стоит ли директива "Disallow: /", которая закрывает от роботов весь сайт?
    • Прописана ли директива Host?
    • Статус-коды всех нужных к индексации страниц – 200 ОК?
    • Нет ли дублей сайта в индексе поисковых систем?

Если на какой-то из этих пунктов вы ответили нет, исправьте оплошность.

Если же все ответы да, то нужно смотреть непосредственно сайт, чтобы найти проблему. Иначе получается гадание по кофейной гуще.

Константин Сокол, KISLOROD

Из моей практики:

Был момент, когда один сайт был 12 часов недоступен, в этот момент на сайт активно рвался краулер от Яндекса. На следующий день произошел АП, и сайт полностью выкинуло из индекса, а в Я.Вебмастере я увидел сообщение, что краулер не смог получить ответ 200 ОК.

В итоге только через 2 недели сайт вернулся в поиск. Компания понесла убытки. Вот такая Тру Стори.

Сейчас ситуация иная:

Если ваш сайт выкинуло с индекса, то нужно посмотреть в http://tools.promosite.ru/, насколько сейчас отстает сохраненная копия. И можно с точностью до 2-х дней определить дату возврата сайта в индекс. Благо, АПы стали носить регулярный характер.

Теперь по решению задачи:

Для Яндекса:

1. Проверить, все ли хорошо с сайтом.

2. Попросить паука сделать переобход 10 верхних страниц категорий, в т.ч. главную.

3. Покорно ждать 5–7 дней. Даже Платон не в силах запихнуть весь ваш сайт в индекс.

Если сайт не попал в индекс за 5–7 дней и сохраненная копия уже равна дате выпадения из индекса, значит дело в самом сайте.

Для Google:

1. Проверить, все ли хорошо с сайтом.

2. В Google Webmasters Tool скормить главную через «Просмотреть как Googlebot».

3. Подождать 2–3 дня.

Как избежать такой оплошности:

Есть сервис monit-it.ru, который пришлет вам SMS, если статус указанной страницы станет отличным от 200 ОК.

А что бы вы посоветовали делать в такой ситуации? Ответы пишите в комментариях.

Свой вопрос недели вы всегда можете задать на наших страницах в социальных сетях. 

(Нет голосов)
Читайте нас в Telegram - digital_bar

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Роман
    5
    комментариев
    0
    читателей
    Роман
    больше года назад
    Про meta robots никто не сказал. Часто бывает, что не проверяют мета-тег. Если значение noindex, то сайт закрыт от индексации.
    А так верно ответили, что если 404, то дело не в индексации, а сервере. Проверить код ответа можно в beral.ru или в сервесе Яндекса: код ответа сервера.
    -
    0
    +
    Ответить
    • Роман
      5
      комментариев
      0
      читателей
      Роман
      больше года назад
      Если в мета роботс значение noindex , то проверить настройки сайта.
      -
      0
      +
      Ответить
  • Гость
    больше года назад
    Я не могу понять, как сайт мог быть проиндексирован как 404  страница, если был просто закрыт в robots.txt? Проверите еще раз, каков ответ сервера сейчас. Может, для роботов все же 404?
    -
    0
    +
    Ответить
  • Александр
    больше года назад
    - Отправить страницы на переобход в помощью Вебмастера.
    - Докупить несколько ссылок с быстро-индексируемых и трастовых ресурсов
    - Расшарить по соцсетям главную и основные страницы
    - Проверьте корректность работы сервера
    - Проверьте сайт на "вредные" элементы - вирусняки, г-контент и т.д. Мало-ли...
    - Напишите Платону ))
    -
    2
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Сколько ссылок помогут продвинуть молодой сайт
Павел Андрейчук
38
комментариев
0
читателей
Полный профиль
Павел Андрейчук - Дело в том, что вряд ли в ваших платных "качественных" кейсах найдётся хоть пару % действительно новой и полезной информации которой бы не было на общедоступных источниках.
Сайт на WordPress: за и против
Мира Смурков
1
комментарий
0
читателей
Полный профиль
Мира Смурков - Людмила, я согласен с большинством комментаторов. Вы хоть один полноценный магазин сделали на этих движках? Woocommerce это система с супер возможностями. И к ней есть дополнительные модули, с функционалом, который вряд ли появиться на Битрикс. А самому это программировать - сотни тысяч рублей на разработку. А приведя в пример сложности с robots.txt и Sitemap вы ставите под вопрос вашу компетенцию в понимании Интернет-бизнеса и веб-разработки в целом. Во-первых это такие мелочи, а во-вторых это все делается на вордпресса за 2 минуты, и опять же с возможностями многократно превышающими Битрикс.
Обзор популярных CMS: плюсы и минусы
Андрей Литвиненко
2
комментария
0
читателей
Полный профиль
Андрей Литвиненко - + там где нужно прописать каноникал, там где нужно поставить мета тег ноиндекс (т.к. Гугл не всегда следует правилам robots.txt) ну и то что выше, к техническим сео возможнлстям можно еще отнести легкое и хотя бы полуавтоматическое добавление микроразметки по сайту, увы "из коробки" такого функционала нет ни в одной cms, все на допиливаниях
Google обошел Яндекс по популярности в России в 2018 году: исследование SEO Auditor
Рамблер
1
комментарий
0
читателей
Полный профиль
Рамблер - Вот вроде отечественный - это сказано верно.. «Я́ндекс» — российская транснациональная компания, зарегистрированная в Нидерландах. Так говорится в Википедии. И с хрена ли ОТЕЧЕСТВЕННЫЙ поисковик зарегистрирован в Европе? И где платится основная часть налогов? Ну-ууу, точно не в России. И если запахнет жаренным, то был Яндекс и нет Яндекса!
8 методик в SEO, от которых давно пора отказаться
Евгений Сметанин
12
комментариев
0
читателей
Полный профиль
Евгений Сметанин - Факторов вообще очень много, согласитесь, вы будете использовать максимальное их количество, особенно, если в ТОПе засели агрегаторы с сумасшедшими ПФ. В таких случаях, вхождение ключа в домен для маленького профильного сайта, сыграет свою положительную роль. Конечно же, если контент на страницах хорошего качества. У меня есть несколько успешных кейсов на эту тему. На сайте продают несколько видов товаров, а выстреливает в ТОП тот, название которого присутствует в доменном имени. Как корабль назовешь, так он и поплывет, верно?))
Google Data Studio: делаем красивые отчеты по контекстной рекламе для клиентов
Nik Nik
1
комментарий
0
читателей
Полный профиль
Nik Nik - Было интересно узнать в тонкостях такую немаловажную часть наших трудов, как отчёты в GDS! Я пока не так опытен, но статья была крайне полезной! Не нашёл шаблон - ещё не делились?
Инструкция: настраиваем цели Яндекс.Метрики через Google Tag Manager
Roman Gorkunenko
1
комментарий
0
читателей
Полный профиль
Roman Gorkunenko - Здравствуйте. Подскажите, пожалуйста, можно с айпи метрики вытащить среднюю стоимость клика по утм меткам? В метрике есть такой шаблон tags_u_t_m, но он не совместим с меткой директа, у них разные префиксы.
Аудит структуры интернет-магазина мебели от «Ашманов и партнеры»
Дмитрий
11
комментариев
0
читателей
Полный профиль
Дмитрий - Сергей, а вы допускаете, что вся ваша жизнь - seo-миф?
Как выбрать подрядчика для продвижения сайта: 7 уровней воронки поиска
aashutosh
1
комментарий
0
читателей
Полный профиль
aashutosh - data science training institute in noida- Webtrackker Technology (8802820025) providing Data Science Training in Noida. Get ✓ 40 Hours Learning training✓ 70 Hrs Projects ✓ 24 X 7 Support ✓ Job Assistance. WEBTRACKKER TECHNOLOGY (P) LTD. C - 67, sector- 63, Noida, India. E-47 Sector 3, Noida, India. +91 - 8802820025 0120-433-0760 +91 - 8810252423 012 - 04204716 EMAIL:info@webtrackker.com webtrackker.com/Best-Data-Science-Training-Institute-in-Noida.php
Как построить качественный ссылочный профиль на основе конкурентов
Ирина
2
комментария
0
читателей
Полный профиль
Ирина - Давно сотрудничаю с megaindex.com и считаю данный сервис одним из лучших в сео сегменте рунета да и не только рунета. Пользуюсь их инструментами для аналитики своих работ и выявлению своих и чужих ошибок. Да и ссылочный профиль, как и говорится в данной статье сделать гораздо проще и правильней при помощи как раз мегаиндекса. Добавлю еще что инструмент для поиска конкурентов у мегаиндекса очень удобный и простой в применении.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
345
Комментариев
262
Комментариев
247
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
101
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!