×
Россия +7 (495) 139-20-33

Вопрос недели: решаем проблему некорректной индексации сайта

Россия +7 (495) 139-20-33
Шрифт:
4 5205

Что для вас значит пятница? Для нас это не только приближающиеся выходные, но и возможность помочь читателям в «Вопросе недели». На этой неделе разбираемся с некорректной индексацией сайта:

Сайт находился на доработке, в связи с чем был закрыт от индексации и проиндексирован поисковиками Яндекс и Google как 404 страница. Две недели назад сайт был открыт для индексации, но поисковики по-прежнему выдают 404 страницу. Как разрулить ситуацию?

Андрей Желудевич, директор b-l.by

Используйте «дурилки» Яндекса и Google для ускорения переобхода страниц сайта. Если открытие для индексации осуществлялось через админку сайта, проверьте дополнительно site.ru/robots.txt на предмет отсутствия строчки «Disallow: /». Также отправьте карту сайта sitemap.xml (если они имеется) в панели Вебмастера Яндекса и Google, что поможет роботу быстрее обойти все страницы сайта. Яндекс «съедает» открытый сайт для индексации за 2–3 обновления поисковой базы. Google индексирует очень быстро (пару дней), поэтому странно, что ваш сайт за 2 недели не обновился в индексе. Проблема может скрываться в некорректном robots.txt, либо в ответе сервера, его можно проверить тут.

Антон, ведущий специалист по поисковому продвижению

Для начала проверьте сайт по следующим пунктам:

    • Размещен ли sitemap.xml?
    • Корректен ли robots.txt?
    • Не стоит ли директива "Disallow: /", которая закрывает от роботов весь сайт?
    • Прописана ли директива Host?
    • Статус-коды всех нужных к индексации страниц – 200 ОК?
    • Нет ли дублей сайта в индексе поисковых систем?

Если на какой-то из этих пунктов вы ответили нет, исправьте оплошность.

Если же все ответы да, то нужно смотреть непосредственно сайт, чтобы найти проблему. Иначе получается гадание по кофейной гуще.

Константин Сокол, KISLOROD

Из моей практики:

Был момент, когда один сайт был 12 часов недоступен, в этот момент на сайт активно рвался краулер от Яндекса. На следующий день произошел АП, и сайт полностью выкинуло из индекса, а в Я.Вебмастере я увидел сообщение, что краулер не смог получить ответ 200 ОК.

В итоге только через 2 недели сайт вернулся в поиск. Компания понесла убытки. Вот такая Тру Стори.

Сейчас ситуация иная:

Если ваш сайт выкинуло с индекса, то нужно посмотреть в http://tools.promosite.ru/, насколько сейчас отстает сохраненная копия. И можно с точностью до 2-х дней определить дату возврата сайта в индекс. Благо, АПы стали носить регулярный характер.

Теперь по решению задачи:

Для Яндекса:

1. Проверить, все ли хорошо с сайтом.

2. Попросить паука сделать переобход 10 верхних страниц категорий, в т.ч. главную.

3. Покорно ждать 5–7 дней. Даже Платон не в силах запихнуть весь ваш сайт в индекс.

Если сайт не попал в индекс за 5–7 дней и сохраненная копия уже равна дате выпадения из индекса, значит дело в самом сайте.

Для Google:

1. Проверить, все ли хорошо с сайтом.

2. В Google Webmasters Tool скормить главную через «Просмотреть как Googlebot».

3. Подождать 2–3 дня.

Как избежать такой оплошности:

Есть сервис monit-it.ru, который пришлет вам SMS, если статус указанной страницы станет отличным от 200 ОК.

А что бы вы посоветовали делать в такой ситуации? Ответы пишите в комментариях.

Свой вопрос недели вы всегда можете задать на наших страницах в социальных сетях. 

(Голосов: 5, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Роман
    5
    комментариев
    0
    читателей
    Роман
    больше года назад
    Про meta robots никто не сказал. Часто бывает, что не проверяют мета-тег. Если значение noindex, то сайт закрыт от индексации.
    А так верно ответили, что если 404, то дело не в индексации, а сервере. Проверить код ответа можно в beral.ru или в сервесе Яндекса: код ответа сервера.
    -
    0
    +
    Ответить
    • Роман
      5
      комментариев
      0
      читателей
      Роман
      больше года назад
      Если в мета роботс значение noindex , то проверить настройки сайта.
      -
      0
      +
      Ответить
  • Гость
    больше года назад
    Я не могу понять, как сайт мог быть проиндексирован как 404  страница, если был просто закрыт в robots.txt? Проверите еще раз, каков ответ сервера сейчас. Может, для роботов все же 404?
    -
    0
    +
    Ответить
  • Александр
    больше года назад
    - Отправить страницы на переобход в помощью Вебмастера.
    - Докупить несколько ссылок с быстро-индексируемых и трастовых ресурсов
    - Расшарить по соцсетям главную и основные страницы
    - Проверьте корректность работы сервера
    - Проверьте сайт на "вредные" элементы - вирусняки, г-контент и т.д. Мало-ли...
    - Напишите Платону ))
    -
    2
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Как работать с сервисом для блогеров и бизнеса Perfluence
SergZa
1
комментарий
0
читателей
Полный профиль
SergZa - Не знал, что с небольшим количеством подписчиков можно заработать, буду пробовать;)
Диагностика и снятие ссылочного фильтра «Минусинск» в 2021 году. Кейс
Stanislav Romanenko
7
комментариев
0
читателей
Полный профиль
Stanislav Romanenko - Просто чисткой ссылочного можно просадить позиции в гугле, поэтому с бухты-барахты начинать удалять ссылки как-то тоже не хотелось бы. Ну в общем, если попадётся ещё подобный случай - не стесняйтесь выкладывать новый кейс :) Просто видите как мало кейсов по этому поводу, поэтому каждый на вес золота. "с этой бедой также приходится сталкиваться и пока кроме как крутить в обратную сторону ничего лучше не придумали." - на серче один товарищ скрипт антибота своего под это дело заточил searchengines.guru/ru/forum/981615/page39#unread - вроде боты пропадают, но и часть живых людей тоже :)
Михаил Ляшенко (PostMarket): о рынке инфлюенс-маркетинга и рекламе у блогеров
Данил Щеглов
1
комментарий
0
читателей
Полный профиль
Данил Щеглов - Сервис вообще отличный. Я обращался для рекламы к блогерам, которых я мог даже сам выбрать. Справляются быстро и качественно.
Алгоритм продвижения сайта через Pinterest
Слава
1
комментарий
0
читателей
Полный профиль
Слава - Спасибо за кейс. Ссылки из pinterest правда дают хороший профит. Недавно в этом убедился. Жду статью про реддит
Облако тегов в интернет-магазине: прикладная инструкция по увеличению трафика
Юлия Дмитриева
2
комментария
0
читателей
Полный профиль
Юлия Дмитриева - Согласна с вами, что в любом деле важен индивидуальный подход:)
Как мы увеличили трафик из Яндекса более чем в 3 раза за неделю на сайте клиники. Кейс
Андрей
1
комментарий
0
читателей
Полный профиль
Андрей - У большинства сайтов произошел рост в Гугле в декабре и в марте Яндекса. Ваши шаманства тут не причём :)
Специалисты в Рунете заметили глобальную накрутку поведенческих факторов
Дмитрий Кулаевский
1
комментарий
0
читателей
Полный профиль
Дмитрий Кулаевский - кто-нибудь знает как с этим бороться? очень много такого трафа идёт с июля, сайт сильно просел
Локальное SEO, или Как увеличить трафик стоматологии на 700% в небольшом городе
Дмитрий Дмитриев
1
комментарий
0
читателей
Полный профиль
Дмитрий Дмитриев - расскажите, о чем именно речь? :)
Увеличение трафика новостного сайта в 2 раза с помощью SEO. Кейс
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Делали подобное тут ruszakony.ru/rubrikator/ , получилось полная фигня
Как забрать 5 мест в выдаче из 10. Кейс-эксперимент
Павел Берсенев
1
комментарий
0
читателей
Полный профиль
Павел Берсенев - Мы тоже такое делали, только по СЧ. vc.ru/marketing/226855-ohrana-perimetra-alternativa-polucheniya-100500-poziciy-v-tope-poiskovoy-vydachi
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
385
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
113
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
92
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
65
Комментариев
62
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!