Вопрос недели: решаем проблему некорректной индексации сайта

Что для вас значит пятница? Для нас это не только приближающиеся выходные, но и возможность помочь читателям в «Вопросе недели». На этой неделе разбираемся с некорректной индексацией сайта:

Сайт находился на доработке, в связи с чем был закрыт от индексации и проиндексирован поисковиками Яндекс и Google как 404 страница. Две недели назад сайт был открыт для индексации, но поисковики по-прежнему выдают 404 страницу. Как разрулить ситуацию?

Андрей Желудевич, директор b-l.by

Используйте «дурилки» Яндекса и Google для ускорения переобхода страниц сайта. Если открытие для индексации осуществлялось через админку сайта, проверьте дополнительно site.ru/robots.txt на предмет отсутствия строчки «Disallow: /». Также отправьте карту сайта sitemap.xml (если они имеется) в панели Вебмастера Яндекса и Google, что поможет роботу быстрее обойти все страницы сайта. Яндекс «съедает» открытый сайт для индексации за 2–3 обновления поисковой базы. Google индексирует очень быстро (пару дней), поэтому странно, что ваш сайт за 2 недели не обновился в индексе. Проблема может скрываться в некорректном robots.txt, либо в ответе сервера, его можно проверить тут.

Антон, ведущий специалист по поисковому продвижению

Для начала проверьте сайт по следующим пунктам:

• Размещен ли sitemap.xml?
• Корректен ли robots.txt?
• Не стоит ли директива "Disallow: /", которая закрывает от роботов весь сайт?
• Прописана ли директива Host?
• Статус-коды всех нужных к индексации страниц – 200 ОК?
• Нет ли дублей сайта в индексе поисковых систем?

Если на какой-то из этих пунктов вы ответили нет, исправьте оплошность.

Если же все ответы да, то нужно смотреть непосредственно сайт, чтобы найти проблему. Иначе получается гадание по кофейной гуще.

Константин Сокол, KISLOROD

Из моей практики:

Был момент, когда один сайт был 12 часов недоступен, в этот момент на сайт активно рвался краулер от Яндекса. На следующий день произошел АП, и сайт полностью выкинуло из индекса, а в Я.Вебмастере я увидел сообщение, что краулер не смог получить ответ 200 ОК.

В итоге только через 2 недели сайт вернулся в поиск. Компания понесла убытки. Вот такая Тру Стори.

Сейчас ситуация иная:

Если ваш сайт выкинуло с индекса, то нужно посмотреть в http://tools.promosite.ru/, насколько сейчас отстает сохраненная копия. И можно с точностью до 2-х дней определить дату возврата сайта в индекс. Благо, АПы стали носить регулярный характер.

Теперь по решению задачи:

Для Яндекса:

1. Проверить, все ли хорошо с сайтом.

2. Попросить паука сделать переобход 10 верхних страниц категорий, в т.ч. главную.

3. Покорно ждать 5–7 дней. Даже Платон не в силах запихнуть весь ваш сайт в индекс.

Если сайт не попал в индекс за 5–7 дней и сохраненная копия уже равна дате выпадения из индекса, значит дело в самом сайте.

Для Google:

1. Проверить, все ли хорошо с сайтом.

2. В Google Webmasters Tool скормить главную через «Просмотреть как Googlebot».

3. Подождать 2–3 дня.

Как избежать такой оплошности:

Есть сервис monit-it.ru, который пришлет вам SMS, если статус указанной страницы станет отличным от 200 ОК.

А что бы вы посоветовали делать в такой ситуации? Ответы пишите в комментариях.

Свой вопрос недели вы всегда можете задать на наших страницах в социальных сетях.