Рекламные кампании для вашего бизнеса
Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:

Вопрос недели: решаем проблему некорректной индексации сайта

Россия +7 (495) 960-65-87
Шрифт:
4 2456

Что для вас значит пятница? Для нас это не только приближающиеся выходные, но и возможность помочь читателям в «Вопросе недели». На этой неделе разбираемся с некорректной индексацией сайта:

Сайт находился на доработке, в связи с чем был закрыт от индексации и проиндексирован поисковиками Яндекс и Google как 404 страница. Две недели назад сайт был открыт для индексации, но поисковики по-прежнему выдают 404 страницу. Как разрулить ситуацию?

Андрей Желудевич, директор b-l.by

Используйте «дурилки» Яндекса и Google для ускорения переобхода страниц сайта. Если открытие для индексации осуществлялось через админку сайта, проверьте дополнительно site.ru/robots.txt на предмет отсутствия строчки «Disallow: /». Также отправьте карту сайта sitemap.xml (если они имеется) в панели Вебмастера Яндекса и Google, что поможет роботу быстрее обойти все страницы сайта. Яндекс «съедает» открытый сайт для индексации за 2–3 обновления поисковой базы. Google индексирует очень быстро (пару дней), поэтому странно, что ваш сайт за 2 недели не обновился в индексе. Проблема может скрываться в некорректном robots.txt, либо в ответе сервера, его можно проверить тут.

Антон, ведущий специалист по поисковому продвижению

Для начала проверьте сайт по следующим пунктам:

    • Размещен ли sitemap.xml?
    • Корректен ли robots.txt?
    • Не стоит ли директива "Disallow: /", которая закрывает от роботов весь сайт?
    • Прописана ли директива Host?
    • Статус-коды всех нужных к индексации страниц – 200 ОК?
    • Нет ли дублей сайта в индексе поисковых систем?

Если на какой-то из этих пунктов вы ответили нет, исправьте оплошность.

Если же все ответы да, то нужно смотреть непосредственно сайт, чтобы найти проблему. Иначе получается гадание по кофейной гуще.

Константин Сокол, KISLOROD

Из моей практики:

Был момент, когда один сайт был 12 часов недоступен, в этот момент на сайт активно рвался краулер от Яндекса. На следующий день произошел АП, и сайт полностью выкинуло из индекса, а в Я.Вебмастере я увидел сообщение, что краулер не смог получить ответ 200 ОК.

В итоге только через 2 недели сайт вернулся в поиск. Компания понесла убытки. Вот такая Тру Стори.

Сейчас ситуация иная:

Если ваш сайт выкинуло с индекса, то нужно посмотреть в http://tools.promosite.ru/, насколько сейчас отстает сохраненная копия. И можно с точностью до 2-х дней определить дату возврата сайта в индекс. Благо, АПы стали носить регулярный характер.

Теперь по решению задачи:

Для Яндекса:

1. Проверить, все ли хорошо с сайтом.

2. Попросить паука сделать переобход 10 верхних страниц категорий, в т.ч. главную.

3. Покорно ждать 5–7 дней. Даже Платон не в силах запихнуть весь ваш сайт в индекс.

Если сайт не попал в индекс за 5–7 дней и сохраненная копия уже равна дате выпадения из индекса, значит дело в самом сайте.

Для Google:

1. Проверить, все ли хорошо с сайтом.

2. В Google Webmasters Tool скормить главную через «Просмотреть как Googlebot».

3. Подождать 2–3 дня.

Как избежать такой оплошности:

Есть сервис monit-it.ru, который пришлет вам SMS, если статус указанной страницы станет отличным от 200 ОК.

А что бы вы посоветовали делать в такой ситуации? Ответы пишите в комментариях.

Свой вопрос недели вы всегда можете задать на наших страницах в социальных сетях. 

internet-dlya-biznesa
Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:
Отправить отзыв
  • Роман
    5
    комментариев
    0
    читателей
    Роман
    1 месяц назад
    Про meta robots никто не сказал. Часто бывает, что не проверяют мета-тег. Если значение noindex, то сайт закрыт от индексации.
    А так верно ответили, что если 404, то дело не в индексации, а сервере. Проверить код ответа можно в beral.ru или в сервесе Яндекса: код ответа сервера.
    -
    0
    +
    Ответить
    Поделиться
    • Роман
      5
      комментариев
      0
      читателей
      Роман
      1 месяц назад
      Если в мета роботс значение noindex , то проверить настройки сайта.
      -
      0
      +
      Ответить
      Поделиться
  • Гость
    1 месяц назад
    Я не могу понять, как сайт мог быть проиндексирован как 404  страница, если был просто закрыт в robots.txt? Проверите еще раз, каков ответ сервера сейчас. Может, для роботов все же 404?
    -
    0
    +
    Ответить
    Поделиться
  • Александр
    1 месяц назад
    - Отправить страницы на переобход в помощью Вебмастера.
    - Докупить несколько ссылок с быстро-индексируемых и трастовых ресурсов
    - Расшарить по соцсетям главную и основные страницы
    - Проверьте корректность работы сервера
    - Проверьте сайт на "вредные" элементы - вирусняки, г-контент и т.д. Мало-ли...
    - Напишите Платону ))
    -
    2
    +
    Ответить
    Поделиться
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
23 действительно эффективных совета по продвижению интернет-магазина
Гость - Троль Гуру паНгинации - Что такое паНгинация?))))
Конкурс: угадайте пятерку лидеров рейтинга «SEO глазами клиентов 2016»
Марина
1
комментарий
0
читателей
Полный профиль
Марина - Ingate i-Media SEO.RU Netpeak 1PS.RU
Анализ ссылок: сравнение многофункциональных платформ по размеру их баз
Михаил - Хватит пениться на каждый аргументированный отзыв. Это не придает вашей компании чести.
Как создать интернет-магазин: сколько стоит открытие?
Гость - да у битрикса что ни обновление - то сплошные баги. недавно знакомый обновился на лицензии интернет-магазина, про***лись заказы за последнюю неделю, слетели все связи по складам. одним словом, жопа. при этом обновился на сразу, а спустя месяц после выкатывания, надеялся, успеют все поправить
Как упростить продвижение вечными ссылками?
Coursh - Зарегестрировался. Накинули 1100 рубликов за пополнение на 10к. Очень неплохо!
Вопрос недели: почему сайт хорошо ранжируется в Google и не интересует Яндекс?
Nina S.Dzh. - У вас достаточно конкурентная тематика для рунета и по главной странице домена расположена англоязычная версия. Полагаю, в этих двух фактах вся проблема. Поскольку Яндекс в данном случае считает английскую версию сайта приоритетной, а среди ваших конкурентов в выдаче достаточно много хороших русскоязычных сайтов, то он и не ранжирует ваш сайт высоко. Грубо говоря, ему есть что предложить пользователю и без вашего сайта. На мой взгляд, в данном случае версии нужно разводить по разным доменам, русскую вешать на RU и продвигать там.
Кому и зачем нужен маркетплейс от Яндекса
Дарья Калинская
0
комментариев
0
читателей
Полный профиль
Дарья Калинская - Максим, спасибо, рада, что статья оказалась полезной )
Конкурс: угадай победителя рейтинга «Известность бренда SEO-компаний»
Андрей
1
комментарий
0
читателей
Полный профиль
Андрей - Оптимизм Дэмис Кокос Ашманов и Партнеры Раш эдженси
ТОП-10 автоматизированных сервисов контекстной рекламы
Жанна Рожкова
155
комментариев
0
читателей
Полный профиль
Жанна Рожкова - Научитесь отличать рекламу от PR-активности. Если следовать вашей логике, на этом сайте (и на всех остальных информационных ресурсах в принципе) кроме рекламы ничего и нет. Так что насчет статьи от понимающего эксперта? Будем рады, если подготовите
Тест: Продвинь сайт в Google с одной попытки
Гость15 - Спасибо)
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
285
Комментариев
262
Комментариев
200
Комментариев
171
Комментариев
155
Комментариев
137
Комментариев
123
Комментариев
97
Комментариев
97
Комментариев
93
Комментариев
80
Комментариев
70
Комментариев
67
Комментариев
60
Комментариев
55
Комментариев
52
Комментариев
49
Комментариев
45
Комментариев
44

Отправьте отзыв!
Отправьте отзыв!