Написание скрипта для определения страниц сайта, проиндексированных Яндексом

Россия+7 (495) 960-65-87
Шрифт:
0 3997

1. Введение
2. Как узнать, какие страницы проиндексировал Яндекс
3. Скрипт для определения проиндексированных Яндексом страниц сайта
4. Заключение
5. Дополнительные материалы по теме

1. Введение

Что такое проиндексированные страницы? Проиндексированные страницы - это страницы уже зарегистрированные поисковыми роботами.

Если вы меняетесь с сайтом ссылками очень важно, чтобы ваша ссылка стояла именно на проиндексированной странице. Лучше всего, если к странице, где будет стоять ваша ссылка, есть прямой переход, максимум в три клика, с главной страницы - тогда вы на 90% можете быть уверены в том, что страница с вашей ссылкой проиндексирована.

Почему на 90%, а не на все 100%? Потому что прямой переход к странице ссылкой с главной страницы - еще не 100% гарантия того, что страница с вашей ссылкой проиндексирована. При желании веб-мастер может закрыть любую страницу своего сайта от индексации. Тогда Ваша ссылка, даже если она прямая, невзаимная и тематическая, даже если к странице с вашей ссылкой есть прямой переход с главной страницы, даже если Ваша ссылка одна единственная внешняя ссылка на всей странице - даже в этом случае она не принесет Вам никакой пользы. Следите за тем, чтобы страница с вашей ссылкой была не закрыта от индексации при помощи, например, файла robots.txt . В данном мастер-классе автор предлагает схему написания собственного скрипта, позволяющего определять проиндексированные страницы поисковой системой Яндекс.

2. Как узнать, какие страницы проиндексировал Яндекс

Подобную информацию можно узнать с помощью «Расширенного поиска Яндекс». На данной странице в поле "находятся на сайте" (в нижней части страницы) необходимо ввести url сайта, для которого необходимо выяснить, какие именно документы Яндекс на нем проиндексировал, и нажать кнопку "Найти", оставив поле для ввода ключевых слов пустым. В результатах поиска будут показаны все страницы (документы), проиндексированные Яндексом на указанном сайте. Если ничего не найдено, значит Яндекс на указанном сайте не проиндексировал ни одну страницу (и/или ни один документ).

3. Скрипт для определения проиндексированных Яндексом страниц сайта

Для облегчения поиска проиндексированных страниц лучше использовать скрипт, написанных на каком-либо языке программирования.

Интерфейс рассматриваемого в данном мастер-классе скрипта представляет собой:

  • текстовое поле для ввода URL сайтов;
  • кнопку для запуска скрипта.

Ниже приведен оригинальный текст скрипта, созданного на PHP:



   < title >Проиндексированные Яндексом страницы сайта
   < meta http-equiv="content-type" content="text/html; charset=windows-1251">
В В  < meta http-equiv="content-language" content="ru">



В В 


В В В В 

В В 
   // Убираем пробелы из начала и конца строк
В В  $urls = trim($_POST["urls"]);

   // Разделяем входые данные (URLs) по строкам
В В  $url = explode (" ", $urls);

   // Количество введенных URLs
В В  $count = count ($url);

В В  function getPage($url)
В В  {
    // Открывает сокет соединения указанного домена/страницы
В В В  $fp = fsockopen ("www.yandex.ru", 80);

    // Формируем запрос для указанного домена
В В В  // Р

Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
    ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
    Кейс: как продвинуть сайт производителя мебели на заказ в Москве
    Александр
    1
    комментарий
    0
    читателей
    Полный профиль
    Александр - Судя по иллюстрациям к статье, не понятно, чем отличаются блоки «категории» и «товары».
    Рейтинг «Известность бренда SEO-компаний 2017»: народное голосование
    Гость
    1
    комментарий
    0
    читателей
    Полный профиль
    Гость - 1) Ingate 2) Ашманов 3) Кокос 4) Russian Promo 5) Netpeak
    «Баден-Баден»: как выйти из-под фильтра
    Александр Кравцов
    1
    комментарий
    0
    читателей
    Полный профиль
    Александр Кравцов - Всем привет Вот ещё пациент www.gdebar.ru Под фильтром с 20 декабря, прошёл месяц, сегодня обновилось, что можете нажать сново проверить сайт и ждать 59 дней.Может кто сталкивался и сможет как то подсказать? Аудитом например или ещё как то проверить, что стоит подправить,скайп мой icejhell. Готов так же к совместному общению по решению проблемы. Всем успехов )
    Второе дыхание ссылочного продвижения
    Автопилот
    15
    комментариев
    0
    читателей
    Полный профиль
    Автопилот - Еще лучше, когда продвижение осуществляется комплексно :)
    Западные специалисты выяснили, как повысить позиции ресурса в выдаче Google
    Максим Мирошник
    2
    комментария
    0
    читателей
    Полный профиль
    Максим Мирошник -
    «Прямая линия» с Александром Алаевым («АлаичЪ и Ко»): отвечаем на вопросы
    Александр Алаев
    13
    комментариев
    0
    читателей
    Полный профиль
    Александр Алаев - Роман. Тут ответ очень простой. Каждый запрос можно четко разделить на коммерческий или некоммерческий. "Купить слона" и его длинные хвосты - коммерческий. "Как выбрать слона" и подобные - информационные. Вот под коммерческие ключи должны быть страницы услуг или каталога товаров. А под информационку - блог. Очень важно не путать их, тем более несоответствующая коммерческим факторам страниц просто не продвинется, то есть по запросу с "купить" блог никогда не будет показываться в выдаче, так же как и страница услуги/товаров не покажется по "как выбрать". Понятно примерно?
    Кейс: продвигаем бизнес по продаже пластиковых окон в Москве
    Иван Стороженко
    14
    комментариев
    0
    читателей
    Полный профиль
    Иван Стороженко - 1. По началу вообще не использовали, сейчас уже много каналов используется. 2. Все может быть, в принципе сайты должны быть удобны для пользователя, для этого и нужна схожесть между собой. Честно говоря старались брать все самое интересное у конкурентов + подкреплять своими идеями.
    Контекст под SEO. Как поисковая реклама помогает позициям в органической выдаче
    Кирилл Щербаков
    1
    комментарий
    0
    читателей
    Полный профиль
    Кирилл Щербаков - чет я не понял, за 3 года ничего с сайтами не делалось что ли? Типо он в статике висел и лился контекст?
    День рождения SEOnews: 12 лет в эфире!
    Анна Макарова
    317
    комментариев
    0
    читателей
    Полный профиль
    Анна Макарова - Ура )
    «Прямая линия» с Артуром Латыповым: отвечаем на вопросы
    God Koss
    1
    комментарий
    0
    читателей
    Полный профиль
    God Koss - Добрый день! Есть сайты одной компании продвигающиеся в разных странах. .ru .com .net. На российском сайте два языка ru и en, на остальных до 10 языков. Недавно сайт ru по основному брендовому запросу выпал из выдачи Яндекс но после апа вернулся на вторую позицию. На вопрос аффилирования в тех поддержку, получит ответ, что всё в порядке и сайт com не учавствует в выдаче. Но он есть и занимает 1 место. Как быть в данной ситуации? Так же, после возврата в топ 10 по этому запросу зашла еще одна внутренняя страница. Могло ли это случиться из-за каннибализации запроса? Немного изменил description на внутренней, исключил вхождения брендового запроса. Жду апа. Хотел бы услышать ваше мнение. Заранее благодарю!
    ТОП КОММЕНТАТОРОВ
    Комментариев
    910
    Комментариев
    834
    Комментариев
    554
    Комментариев
    540
    Комментариев
    483
    Комментариев
    373
    Комментариев
    317
    Комментариев
    262
    Комментариев
    231
    Комментариев
    171
    Комментариев
    156
    Комментариев
    137
    Комментариев
    121
    Комментариев
    97
    Комментариев
    97
    Комментариев
    95
    Комментариев
    84
    Комментариев
    80
    Комментариев
    67
    Комментариев
    60
    Комментариев
    59
    Комментариев
    55
    Комментариев
    55
    Комментариев
    54
    Комментариев
    52

    Отправьте отзыв!
    Отправьте отзыв!