Рекламные кампании для вашего бизнеса
Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:

Быстрая индексация крупных сайтов

Россия +7 (495) 960-65-87
Шрифт:
2 2973

От переводчика

«Эли, автор данной статьи и блога BlueHatSeo .com, — широко известный на Западе оптимизатор. В своих статьях он подробно описывает различные аспекты SEO и в то же время дает рекомендации по монетизации сайтов. В частности, он детально описал работу так называемых сайтов-отбеливателей ссылок, которые позволяют накачать ссылочный вес нужных ресурсов, и сайтов-хамелеонов, призванных монетизировать трафик по длинным ключевым фразам. Эта статья посвящена тому,как проиндексировать такие и другие крупные сайты в максимально короткий срок».

После того, как вы создадите сайт-хамелеон или отбеливатель ссылок, вам наверняка придется решить проблему его индексирования в поисковых системах. Возможно, вам еще не приходилось работать с большими сайтами, в которых больше 20 тысяч страниц, но, поверьте мне, проиндексировать их не так уж и сложно. Единственное, что я должен отметить, некоторые из приведенных ниже методов лучше всего подходят для сайтов с числом страниц от 20 до 200 тыс. Для сайтов, у которых больше или меньше страниц, нужно использовать немного иные методы.

Посещение сайта поисковыми ботами

Здесь нужно отметить два важных аспекта. Первый это структура сайта. Вы должны так организовать сайт, чтобы максимально облегчить ботам работу по его индексированию. Для этого вы должны создать так называемые «узловые» страницы. Узловые страницы — это страницы со ссылками на внутренние страницы. Например, для сайта каталогов узловой страницей можно считать страницу, внизу которой стоит блок ссылок: "Pages 1, 2, 3, 4, ...«.Единственная цель и ценность узловой страницы в том, что она помогает проиндексировать другие страницы сайта. Если вам нужно проиндексировать большой сайт, то сначала проиндексируйте узловые страницы, а остальные страницы последуют за ними.

Второй важный фактор — количество посещений сайта поисковыми ботами. Чем больше объем ботового трафика, тем быстрее проиндексируются страницы сайта. Хотя сам объем не имеет большого значения: какой толк от того, что боты будут бомбардировать главную страницу сайта и не будут заходить на внутренние? Вы должны направить ботов туда, куда вам нужно, и здесь очень важна структура, о которой я рассказал выше.

Это скриншот со статистикой одного из моих сайтов-хамелеонов, которому всего 10 дней от роду. Обратных ссылок на него совсем немного, однако это не помешало ботам за 6 дней проиндексировать 10 тысяч страниц.

Как я уже говорил, сделать это совсем не сложно. Для начала, мы займемся базовыми вещами, затем перейдем к более продвинутым приемам и закончим тем, что я называю «сайтами-индексаторами». Что из всего этого использовать, решать вам. Если вы не готовы применять тот или иной прием или у вас пока нет для этого достаточных знаний, остановитесь на более простых вариантах.

Внутренние ссылки на целевых страницах

Это самое простое, что можно придумать. Давайте вернемся к нашему сайту-хамелеону с партнерскими ссылками на сайт знакомств. Там каждая целевая страница представляет какой-то город. И на каждой странице есть (или можно поставить) ссылки на близлежащие города. (Для этого можно использовать выборку по ZIP-кодам или же вытягивать из базы записи, расположенные до и после ряда, которому соответствует указанный город.) Это позволит поисковым ботам переходить с одной целевой страницы на другую до тех пор, пока они не проиндексируют все страницы сайта.

Обратная и/или вращающаяся карта сайта

Наверняка вы уже прикрутили простенькую карту к своему сайту, и теперь она ссылается на все страницы ресурса. Говорят, поисковые боты относятся к картам сайта иначе, чем к другим страницам в плане количества ссылок, по которым они готовы перейти, но когда у вас есть 20 тысяч страниц и все их нужно проиндексировать, стандартная карта может оказаться малоэффективной.

Если мы отталкиваемся от того факта, что бот переходит только по определенному количеству ссылок с карты сайта, значит, нам нужно сделать так,чтобы он каким-то образом охватил все ссылки. Если у вас небольшой ресурс на 5тысяч страниц, то вам вряд ли придется об этом беспокоиться, но если у вас сайт-хамелеон на более чем 30 тысяч адресов, стандартная карта сайта может оказаться бесполезной тратой времени. Дело в том, что ссылки с главной страницы ведут на внутренние страницы с низким порядковым номером в базе данных. Точно так же устроена и карта сайта — сначала она выдает первые ряды в базе, затем последние. В такой ситуации боты будут ходить по одним и тем же страницам.

Чтобы решить проблему, разверните карту сайта на 180 градусов. Для этого в базе данных замените ORDER BY ‘id’ на ORDER BY ‘id’ DESC (атрибут DESC подразумевает что последние страницы будут отображаться первыми, а первые — последними). Так страницы, которые, как правило, плетутся в хвосте карты, сразу привлекут на себя внимание ботов, и те их быстренько проиндексируют. Если с внутренней перелинковкой проблем нет, то боты будутиндексировать страницы с обеих сторон базы данных и со временем сойдутся в центре. В таком случае полная индексация сайта произойдет намного быстрее, чем если бы боты постепенно шли с первых страниц и до последних.

Еще лучше сделать вращающуюся карту сайта. Допустим, у вас есть 30 тысяч страниц. В течение первой недели расположение страниц на карте должно выглядеть так: 30,000-1. Затем вы берете первые 5 тысяч страниц и переносите их в конец карты. Теперь карта выглядит так: 25,000-1:30,000-25,001.В начале третьей недели вы снова прокручиваете карту и теперь она имеет вид:20,000-1:30,30,000-20,001. И так до конца. Этот метод весьма эффективен.

Ссылки на внутренние страницы с других сайтов

Этот метод тоже позволяет существенно увеличить объем ботового трафика на внутренних страницах сайта. Благодаря ему вы сможете ткнуть ботов носом в те участки, которые они упорно не хотят индексировать. Чтобы операция прошла успешно, ставьте ссылки на узловые страницы. Ссылки могут идти как с ваших собственных, так и со сторонних ресурсов.

Сайты-индексаторы

Это самая эффективная тактика индексирования из всех, что я описал в этом посте. Сайт-индексатор — это специальный сайт, который вытягивает контент с других ваших сайтов, индексирует свои внутренние страницы и затем самообновляется — закрывает проиндексированные страницы и подхватывает другие, непроиндексированные. Создание такого сайта не займет много времени, однако для этого нужно разбираться в коде.

Сначала вам нужно создать главную страницу, которая будет ссылаться на 50-100 внутренних страниц. Каждая внутренняя страница будет наполняться контентом тех страниц из базы крупного сайта (например, сайта-хамелеона), которые вам нужно проиндексировать. Чтобы главную страницу сайта-индексатора не покидали поисковые боты, направьте на нее поток ссылочного веса с сайтов-отбеливателей ссылок.

После этого задайте команду cron, чтобы он ежедневно вытягивал из Google,Yahoo и MSN данные по запросу SITE:вашдомен.com. Создайте скрипт, который будет парсить результаты и сравнивать их со списком страниц на сайте-индексаторе. Как только страница будет проиндексирована во всех трех поисковиках, скрипт должен ставить на нее 301-й редирект, который будет вести на ее близнеца (целевую страницу с крупного сайта), и отмечать ее в базе данных как проиндексированную. Теперь сайт-индексатор не будет обращать на нее внимание, и для создания новых внутренних станиц будет подхватывать только те страницы, которые еще не были проиндексированы каким-то (или всеми) из поисковиков. Такой сайт работает на автомате и в этом его настоящая ценность.

Сайт-индексатор будет трудиться до тех пор, пока все страницы крупного сайта не будут проиндексированы в основных поисковых системах. Этот метод работает настолько эффективно, что даже при полном отсутствии внешних ссылок на крупный сайт вы все равно сможете проиндексировать его внутренние страницы. Для этого вам понадобится всего несколько сайтов-индексаторов.

Автор: Эли (Eli) — автор блога BlueHatSeo

Перевод: Богдан Глушак, автор блога Profit Hunter


internet-dlya-biznesa
Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:
Отправить отзыв
  • Гость
    больше года назад
    Для быстрой индексации сайта, рекомендую воспользоваться нашим сервисом sozdaysayt.ru, выполним качественно кросспостинг по различным блогам и микроблогам, есть бесплатный тарифный план, так что платить даже не придется. После данной услуги Ваш сайт начнет индексироваться гораздо быстрее и лучше.
    -
    0
    +
    Ответить
    Поделиться
  • Гость
    больше года назад
    Уж больно легко всё описано, в реале это целый гимор вести свю эту дребедень.
    -
    0
    +
    Ответить
    Поделиться
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
23 действительно эффективных совета по продвижению интернет-магазина
Гость - Троль Гуру паНгинации - Что такое паНгинация?))))
Конкурс: угадайте пятерку лидеров рейтинга «SEO глазами клиентов 2016»
Марина
1
комментарий
0
читателей
Полный профиль
Марина - Ingate i-Media SEO.RU Netpeak 1PS.RU
Анализ ссылок: сравнение многофункциональных платформ по размеру их баз
Михаил - Хватит пениться на каждый аргументированный отзыв. Это не придает вашей компании чести.
Как создать интернет-магазин: сколько стоит открытие?
Гость - да у битрикса что ни обновление - то сплошные баги. недавно знакомый обновился на лицензии интернет-магазина, про***лись заказы за последнюю неделю, слетели все связи по складам. одним словом, жопа. при этом обновился на сразу, а спустя месяц после выкатывания, надеялся, успеют все поправить
Как упростить продвижение вечными ссылками?
Coursh - Зарегестрировался. Накинули 1100 рубликов за пополнение на 10к. Очень неплохо!
Вопрос недели: почему сайт хорошо ранжируется в Google и не интересует Яндекс?
Nina S.Dzh. - У вас достаточно конкурентная тематика для рунета и по главной странице домена расположена англоязычная версия. Полагаю, в этих двух фактах вся проблема. Поскольку Яндекс в данном случае считает английскую версию сайта приоритетной, а среди ваших конкурентов в выдаче достаточно много хороших русскоязычных сайтов, то он и не ранжирует ваш сайт высоко. Грубо говоря, ему есть что предложить пользователю и без вашего сайта. На мой взгляд, в данном случае версии нужно разводить по разным доменам, русскую вешать на RU и продвигать там.
ТОП-10 автоматизированных сервисов контекстной рекламы
Гость - income4you.ru/index.php?refid=90093
Кому и зачем нужен маркетплейс от Яндекса
Дарья Калинская
0
комментариев
0
читателей
Полный профиль
Дарья Калинская - Максим, спасибо, рада, что статья оказалась полезной )
Конкурс: угадай победителя рейтинга «Известность бренда SEO-компаний»
Андрей
1
комментарий
0
читателей
Полный профиль
Андрей - Оптимизм Дэмис Кокос Ашманов и Партнеры Раш эдженси
Тест: Продвинь сайт в Google с одной попытки
Гость15 - Спасибо)
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
285
Комментариев
262
Комментариев
200
Комментариев
171
Комментариев
154
Комментариев
137
Комментариев
123
Комментариев
97
Комментариев
97
Комментариев
93
Комментариев
80
Комментариев
70
Комментариев
67
Комментариев
60
Комментариев
55
Комментариев
52
Комментариев
49
Комментариев
45
Комментариев
44

Отправьте отзыв!
Отправьте отзыв!