×
Россия +7 (495) 139-20-33

Вопрос недели: решаем проблему некорректной индексации сайта

Россия +7 (495) 139-20-33
Шрифт:
4 6424
Подпишитесь на нас в Telegram

Что для вас значит пятница? Для нас это не только приближающиеся выходные, но и возможность помочь читателям в «Вопросе недели». На этой неделе разбираемся с некорректной индексацией сайта:

Сайт находился на доработке, в связи с чем был закрыт от индексации и проиндексирован поисковиками Яндекс и Google как 404 страница. Две недели назад сайт был открыт для индексации, но поисковики по-прежнему выдают 404 страницу. Как разрулить ситуацию?

Андрей Желудевич, директор b-l.by

Используйте «дурилки» Яндекса и Google для ускорения переобхода страниц сайта. Если открытие для индексации осуществлялось через админку сайта, проверьте дополнительно site.ru/robots.txt на предмет отсутствия строчки «Disallow: /». Также отправьте карту сайта sitemap.xml (если они имеется) в панели Вебмастера Яндекса и Google, что поможет роботу быстрее обойти все страницы сайта. Яндекс «съедает» открытый сайт для индексации за 2–3 обновления поисковой базы. Google индексирует очень быстро (пару дней), поэтому странно, что ваш сайт за 2 недели не обновился в индексе. Проблема может скрываться в некорректном robots.txt, либо в ответе сервера, его можно проверить тут.

Антон, ведущий специалист по поисковому продвижению

Для начала проверьте сайт по следующим пунктам:

    • Размещен ли sitemap.xml?
    • Корректен ли robots.txt?
    • Не стоит ли директива "Disallow: /", которая закрывает от роботов весь сайт?
    • Прописана ли директива Host?
    • Статус-коды всех нужных к индексации страниц – 200 ОК?
    • Нет ли дублей сайта в индексе поисковых систем?

Если на какой-то из этих пунктов вы ответили нет, исправьте оплошность.

Если же все ответы да, то нужно смотреть непосредственно сайт, чтобы найти проблему. Иначе получается гадание по кофейной гуще.

Константин Сокол, KISLOROD

Из моей практики:

Был момент, когда один сайт был 12 часов недоступен, в этот момент на сайт активно рвался краулер от Яндекса. На следующий день произошел АП, и сайт полностью выкинуло из индекса, а в Я.Вебмастере я увидел сообщение, что краулер не смог получить ответ 200 ОК.

В итоге только через 2 недели сайт вернулся в поиск. Компания понесла убытки. Вот такая Тру Стори.

Сейчас ситуация иная:

Если ваш сайт выкинуло с индекса, то нужно посмотреть в http://tools.promosite.ru/, насколько сейчас отстает сохраненная копия. И можно с точностью до 2-х дней определить дату возврата сайта в индекс. Благо, АПы стали носить регулярный характер.

Теперь по решению задачи:

Для Яндекса:

1. Проверить, все ли хорошо с сайтом.

2. Попросить паука сделать переобход 10 верхних страниц категорий, в т.ч. главную.

3. Покорно ждать 5–7 дней. Даже Платон не в силах запихнуть весь ваш сайт в индекс.

Если сайт не попал в индекс за 5–7 дней и сохраненная копия уже равна дате выпадения из индекса, значит дело в самом сайте.

Для Google:

1. Проверить, все ли хорошо с сайтом.

2. В Google Webmasters Tool скормить главную через «Просмотреть как Googlebot».

3. Подождать 2–3 дня.

Как избежать такой оплошности:

Есть сервис monit-it.ru, который пришлет вам SMS, если статус указанной страницы станет отличным от 200 ОК.

А что бы вы посоветовали делать в такой ситуации? Ответы пишите в комментариях.

Свой вопрос недели вы всегда можете задать на наших страницах в социальных сетях. 

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Роман
    5
    комментариев
    0
    читателей
    Роман
    больше года назад
    Про meta robots никто не сказал. Часто бывает, что не проверяют мета-тег. Если значение noindex, то сайт закрыт от индексации.
    А так верно ответили, что если 404, то дело не в индексации, а сервере. Проверить код ответа можно в beral.ru или в сервесе Яндекса: код ответа сервера.
    -
    0
    +
    Ответить
    • Роман
      5
      комментариев
      0
      читателей
      Роман
      больше года назад
      Если в мета роботс значение noindex , то проверить настройки сайта.
      -
      0
      +
      Ответить
  • Гость
    больше года назад
    Я не могу понять, как сайт мог быть проиндексирован как 404  страница, если был просто закрыт в robots.txt? Проверите еще раз, каков ответ сервера сейчас. Может, для роботов все же 404?
    -
    0
    +
    Ответить
  • Александр
    больше года назад
    - Отправить страницы на переобход в помощью Вебмастера.
    - Докупить несколько ссылок с быстро-индексируемых и трастовых ресурсов
    - Расшарить по соцсетям главную и основные страницы
    - Проверьте корректность работы сервера
    - Проверьте сайт на "вредные" элементы - вирусняки, г-контент и т.д. Мало-ли...
    - Напишите Платону ))
    -
    2
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Накрутка поведенческих факторов: дорого, сложно, но можно. Если очень хочется
Oleg_bobr2012
1
комментарий
0
читателей
Полный профиль
Oleg_bobr2012 - Мда...Может Анне сразу в Яндекс написать кейсы по накрутке ПФ. Я бы такого сотрудника гнал вон.
28 способов повысить конверсию интернет-магазина
Татьяна
1
комментарий
0
читателей
Полный профиль
Татьяна - Очень действенные рекомендации представлены в статье! Всё четко расписано и легко внедряемо в работу интернет-магазинов.Удобство и наглядность+различные бонусы и скидки-именно то, что и цепляет покупателя.
7 актуальных сервисов для анализа сайта: сравнительная характеристика
Jenimeon
1
комментарий
0
читателей
Полный профиль
Jenimeon - SimilarWeb один из моих фаворитов, частенько им пользуюсь. Ценник не малый, но функционал хороший. Be1 тоже годный.
Какие сайты лидировали в поиске Яндекса и Google в 2023 году
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Если что по рейтингу вы не правы, есть ядро по которому производиться оценка и вы можете по нему самостоятельно все посмотреть. Единственный объективный рейтинг по SEO. Других не знаю Ну я вам скажу что это не так и в предыдущие года сайт моего клиента попадал в рейтинг, при чем несколько раз. И я прекрасно знал еще до объявления результатов кто лидер - рейтинг прозрачный, есть фразы по которым набираются баллы. В этом году наш сайт не попал в рейтинг например и это было понятно, что не попадет (по статистике позиций)
Как онлайн-магазинам получать максимум трафика с помощью Поиска по товарам Яндекса
Гость из Тюмени
1
комментарий
0
читателей
Полный профиль
Гость из Тюмени - Производим пиломатериалы под заказ, от 1 до 14 дней. Яндекс постоянно банит наш яндекс фид по причине отсутствия товара на складе во время своих тайных проверок. Не возможно донести до модератора, что мы работаем под заказ, поэтому товара нет на складе, т.е. пришёл заказ - мы изготовили.
Создали ресурс для металлургов, который позволяет следить за аналитикой рынка и осуществлять продажи
Наталья Сталь
3
комментария
0
читателей
Полный профиль
Наталья Сталь -
5 способов увидеть сайт глазами поисковика: анализируем скрытый контент и cloaking
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Сейчас клоаку прячут, так что под нее можно глянуть только с гуггловских ip. Сейчас только гуггл сервисами можно глянуть
Простые SEO-работы, которые могут увеличить прибыль компании. Часть 1
roma.lisov
1
комментарий
0
читателей
Полный профиль
roma.lisov - Воспользовался советом по проверке и настройке картинок на сайте – реально дельный совет. Вот вроде и просто, казалось бы, а мне в голову раньше не пришло. А такие нюансы, конечно, нужно знать)
Как мы увеличили поисковый трафик на 30% с помощью ChatGPT
Светлана Светлана
23
комментария
0
читателей
Полный профиль
Светлана Светлана - Я сама работаю в маркетинге и недавно решила еще дополнительно пройти курсы по интернет маркетингу astobr.com/services/povyshenie-kvalifikatsii/menedzhment-upravlenie/internet-marketing/ , как по мне эти знания которые я получила, очень помогают мне в работе
Простые SEO-работы, которые могут увеличить прибыль компании. Часть 2
dayitrix
1
комментарий
0
читателей
Полный профиль
dayitrix - Ну да, для начала важно хотя бы необходимый минимум работ провести, настроить все как положено. А уже потом в более далекие дебри SEO-оптимизации лезть. А то многие ни с того начинают и потом удивляются, почему результата нет.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
386
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
120
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
64
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!