×
Россия +7 (495) 139-20-33

Эксперименты с JavaScript в Google

Россия +7 (495) 139-20-33
Шрифт:
1 5938

Наконец-то готовы результаты эксперимента с индексацией javascript-текста в Google и работы ссылок, спрятанных через яваскрипт. Ниже приведены подробности этого исследования.

Гипотеза

Судя по проведенным ранее экспериментам, результаты которых актуальны и поныне, JavaScript из всех поисковиков читает лишь Google. Поэтому, в данном исследовании затрагивается лишь эта поисковая система. Многие знают, что от Google контент спрятать сложно, но интересно было все же разобраться, парсит ли Google JavaScript любой сложности или только простые выражения?

Гипотеза состояла в том, что поисковая ситема Google распознает лишь простые варианты скриптов и контент можно спрятать, усложнив скрипт.

Цель эксперимента

Целью данного исследования является подтвердить или опровергнуть гипотезу, а также в случае опровержения определить, какие все же скрипты Google не распознает.

Проведение эксперимента

Для проведения эксперимента 20 февраля 2011 г. была создана отдельная страница, на которой расположен контент с ссылками с помощью JavaScript в разных вариантах: с помощью обычного document.write, кусочного, вызова функции, подключения внешних файлов, в том числе обфускейченных (запутанных), а также с помощью работы с DOM документа.

Ссылка на экспериментальную страницу была добавлена в Твиттере с просьбой заретвитить (спасибо всем за помощь, в сумме было 27 ретвитов). Другими словами, тви-друзья помогли сделать страницу популярной для Google, чтобы ускорить индексацию и быстрее узнать результаты. Через несколько минут страница уже была в индексе, но ссылки пока не работали. На данный момент основной робот Google проиндексировал весь необходимый контент, и можно проверять результаты.

Результаты эксперимента

Рассмотрим полученные результаты по каждому из видов используемого javascript-подхода.

1. Безатрибутная ссылка

Этот приём использует ссылку без атрибута href и для роботов такой тег не является ссылкой. На экспериментальной странице с помощью DOM был добавлен атрибут href:

< a name="a" id="a">безатрибутный индекс.

Результаты в данном случае показали, что такая ссылка не работает для Google, то есть, вес не передаёт. По уникальному анкору «безатрибутный индекс» страница-акцептор не находится.

2. Кусочный document.write

Здесь использовалось небольшое усложнение, когда строка была разбита на несколько строк с их конкатенацией:

document.write("Немного контента с уникальной фразой devjslink и обещанной ссылкой " + «<» + «a h» + «ref» + "="h" + «tt» + «p:» + «//» + «seodic» + «.» + «ru» + «/terms/» + «%D0%B6%D0%B8%D1%80%D0%BD%D0%B0%D1%8F-%D1%81%D1%81%D1%8B%D0%BB%D0%BA%D0%B0» + «»" + «>» + «кусочная js ссылка» + «<» + «/» + «a» +«>» + «.»);

Такая конструкция не помогла, Google проиндексировал контент, как видит это пользователь. По уникальному тексту devjslink можно найти экспериментальную страницу, а по уникальному тексту анкора кусочная js ссылка находится акцептор (страница, куда ведет ссылка). То есть, в этом случае вес по ссылке передался, она была учтена.

3. Вызов внутренней функции и document.write

Внутри документа была описана функция, содержащая document.write с выводом определенного текста и ссылки. В нужном месте документа была вызвана эта функция.

Результаты показывают, что в этом случае яваскрипт-контент индексируется, и ссылка находится. Такая ссылка тоже передает вес.

4. Вызов функции из внешнего файла и document.write

Эта часть похожа на предыдущую. Только функция была определена во внешнем доступном файле file2.js, подключенном в документе.

Результаты показали, что вызов функции из внешнего файла также обрабатывается Google, и результаты аналогичные предыдущим — контент индексируется, ссылка работает.

Интересно было посмотреть серверные логи, когда именно поисковый робот заходил за дополнительными .js файлами. Анализ логов показал, что Google читает внешние файлы не сразу, а через какой-то промежуток времени (около недели) и приходит с тем же юзер-агентом «Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)». Также интересно, что внешние файлы для страниц запрашиваются, практически, одновременно (в отличие от html-страниц сайта) с частотой около 2 раз в месяц.

5. Внешний скрипт и document.write

Во внешнем скрипте (file1.js) сразу был описан document.write без дополнительных функций. По текущим результатам, контент проиндексирован, так как экспериментальная страница находится по уникальному тексту из скрипта devjsrelink. Однако, ссылка не работает (проверка). Очень странное явление, так как подобная конструкция оказалась не самой сложной, и Google её распарсил (распознал), но ссылке вес не передал. Полагаю, что это временно, и после следующей переиндексации ссылка сработает.

6. Обфускейченный внешний скрипт с document.write

В этой части эксперимента было создано два обфускейченных файла: file3.js, file4.js. Различаются они лишь методом обфускации.

Результаты показали, что и в первом, и во втором случае ссылка работает, и акцептор находится. Другими словами, обфускация не помогает для скрытия алгоритма, Google видит контент так же, как и пользователь.

7. Запрет индексации внешнего скрипта в robots.txt

В этой части был создан файл file5.js, содержащийся, в отличие от других, в папке /robots/, которая закрыта от индексации с помощью корневого файла robots.txt.

Результаты показывают, что контент из этого файла так и не проиндексировался (проверочная ссылка). Анализ серверных логов показал, что в папку /robots/ Google не заходил, а соответственно, file5.js не индексировал.

8. Работа с DOM документа

Следующий текст с ссылкой были созданы с помощью работы с DOM документа.

var a = document.createElement("A");
a.setAttribute("href«, «http://seodic.ru/terms/%D1%80%D0%B5%D0%BB%D0%B5%D0%B2%D0%B0%D0%BD%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C»);
a.innerHTML = «экспериментальная dom ссылка»;
var s = document.createElement("SPAN«);
s.innerHTML = «Этот текст и ссылка добавлены с помощью работы объектной модели DOM... »;
s.appendChild(a);
var span = document.getElementById("b");
span.appendChild(s);

Проверочная ссылка показывает, что ссылка в данном случае не сработала (вес не передала), но контент все же попал в индекс (страница находится по уникальной фразе, присутствовавшей в скрипте).

9. Комплексный вариант скрипта

И последний случай — комплексный вариант, в котором задействованы все предыдущие модели: обфускейченный внешний файл размещаем в папку, закрытую от индексации в robots.txt, при этом в файле используем функцию, работающую с DOM. В нужном месте вызываем функцию, печатающую контент с ссылкой.

Результаты такого варианта прогнозируемы, контент не индексируется, ссылка соответственно.

Выводы

Как видно из результатов эксперимента, от робота Google не так просто что-то скрыть. Все варианты ссылок работают, за исключением тех, что размещены во внешних файлах, закрытых от индексации. Также в ряде случаев при работе с объектной моделью документа, поисковый парсер не всегда распознает ссылки, но посмотрим, что будет в будущем. Наша гипотеза не подтвердилась.


(Голосов: 5, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Ане Макаровой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • ikutsin
    больше года назад
    Интересный и состоятельный эксперимент. Спасибо за публикацию.
    -
    0
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Кейс: как за 30 дней вывести новый сайт в ТОП выдачи Google
Сергей
2
комментария
0
читателей
Полный профиль
Сергей - Прошёл у Паши курс год назад, пытался продвигать свой сайт portativ.org.ua, но особых продвижений нет. Наверное сео уже умерло??
Облако тегов в интернет-магазине: прикладная инструкция по увеличению трафика
Юлия Дмитриева
2
комментария
0
читателей
Полный профиль
Юлия Дмитриева - Согласна с вами, что в любом деле важен индивидуальный подход:)
Специалисты в Рунете заметили глобальную накрутку поведенческих факторов
Дмитрий Кулаевский
1
комментарий
0
читателей
Полный профиль
Дмитрий Кулаевский - кто-нибудь знает как с этим бороться? очень много такого трафа идёт с июля, сайт сильно просел
Как стандартизировать данные семантики с помощью логарифмов
Юлий
1
комментарий
0
читателей
Полный профиль
Юлий - Чем снималась коммерцелизация?
Платные и бесплатные курсы по SEO и интернет-маркетингу для новичков и опытных специалистов
Алексей Терещенко
1
комментарий
0
читателей
Полный профиль
Алексей Терещенко - Запустил бесплатный марафон для SEO специалистов с нуля в Фейсбуке. Рекомендую начинать совой путь с него и дальше уже определятся, нравится направление или нет. Так же на базе обучающего марафона есть сообщестово в котором все в удобном формате общаются и постигают профессию. Моя миссия - создать сообщество крутых и образованых seo специалистов и поднять качество услуг на высокий уровень. Кому интересно, присоеденяйтесь www.facebook.com/groups/startseofree/
Яндекс возобновил «показательные порки» за накрутку поведенческих факторов
Антон
1
комментарий
0
читателей
Полный профиль
Антон - Никакой не выпал. Кроме клиентского сайта, который проседал из-за скрутки, о чем Я.Поиску сообщали и клиенту тоже. Ноль реакции от поисковика (продолжайте развивать сайт, никаких проблем нет ...). Клиенту надоело и он заказал накрутку у подрядчиков. Мы искренне ждали бана, сообщали об этом клиенту, т.к. мы все таки делаем все остальное для развития. Как итог: с лета полет нормальный. Сайт растет, никаких проблем. Случайно даже стажер палил тех поддержке факт использования накрутки. И ничего. Сайт растет дальше. Если они не могут ничего принять даже после признания факта накрутки, что они могут сделать с жалобами на накрутку конкурентов?! Никогда не одобряли данные методы, но ... похоже ... все работает :)
15 языков программирования, за знание которых платят выше среднего
Любомир
2
комментария
0
читателей
Полный профиль
Любомир - Ну и ЗП: ни слова о том что она варируеться от 0 до 100 000$ в год!!! Что до высокой зп надо несколько лет етим заниматся! Что 100 000$ в год на западе заробатывают, а где нибудь в азиатских страннах 100$ в год. В СНГ первые годы в разработчика ЗП как в грузчика на складе - это где то 4-5 тыс. долларов в год, и уже имея несколько лет опыта возможно дойти до 10-20 тыс. долларов в год! Почему нет конкретики? Меня лично нервирует то что людям внушают великие ЗП в АйТи, а люди тупые и ведутся!!!!
Сколько стоит SEO на фрилансе. Кейсы
Людмила
1
комментарий
0
читателей
Полный профиль
Людмила - Очень спорная статья. Особенно оценка. К примеру, за 1500 руб. 200 вечных ссылок с быстрой индексацией. Это про какой год? Про 2020? Точно? Собственно, в текущих реалиях при хорошем раскладе за эти деньги можно получить 3-4 качественные ссылки. А никак не 200. Если 200, то такие ссылки, по 7,5 руб. за штуку выбьют сайт за ТОП-100. А заказчик будет в шоке, он же все правильно делал, по инструкции из статьи в уважаемом издании.
Яндекс тестирует оценки сайта в сниппете
Сергей Демин
8
комментариев
0
читателей
Полный профиль
Сергей Демин - вопрос такой: где получить оценку о сайте? а не об организации
Локальное продвижение интернет-магазина: как получить дополнительный трафик из регионов
Саша Дружин
2
комментария
0
читателей
Полный профиль
Саша Дружин - У меня был опыт раскрутки сайта на иностранных рынок, например для анголязычной аудитории. В целом отличия есть, хоть и небольшие. Больше всегда прироста получил после закупки ссылок от www.e-raskrutka.ru/anothercountry , они достаточно качественно работают на англоязычную аудиторию и могут лаконично вписаться в любое обсуждение. Можно самому попробовать заказать такие ссылки и посмотреть на результат.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
384
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
113
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
91
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
60
Комментариев
59
Комментариев
57

Отправьте отзыв!
Отправьте отзыв!