Поисковые роботы Google начнут обращать внимание на CSS и JavaScript файлы, а также на изображения на странице. Соответствующие Google внес в Руководство для вебмастеров. Для того чтобы индексация веб-страниц происходила корректно, роботам Google необходимо открыть в файле robots.txt доступ к перечисленным элементам. В противном случае сайт может потерять позиции в поисковой выдаче.
По словам разработчиков Google, смысл обновления — отказ от прежнего принципа работы систем индексирования, идентичного устаревшим текстовым веб-браузерам наподобие Lynx. Новая технология индексирования заключается в визуализации (рендеринге) распознаваемых страниц. По мнению представителей Google, это больше соответствует такому понятию, как «современный веб-браузер».
Google выделил ряд пунктов, о которых важно не забывать. Первое — движок Google, осуществляющий рендеринг веб-страниц, может не поддерживать некоторые технологии веб-дизайна, с помощью которых написана страница. Поэтому разработчикам сайтов рекомендовано следовать концепции . Её принципы позволяют системам индексирования лучше распознавать содержимое страниц.
Страницы, которые быстро загружаются, эффективнее индексируются поисковыми роботами. Для успешной индексации представители Google советуют оптимизировать веб-страницы, обращая внимание на следующие параметры:
- отсутствие лишних загружаемых элементов на сайте,
- объединение отдельных файлов CSS и JavaScript в один посредством . Это повысит скорость загрузки страницы и снизит нагрузку на сервер.
- возможность сервера обеспечивать корректную работу JavaScript и CSS файлов, а также их взаимодействие с ботами Google.
Поисковик также обновил опцию — «Просмотреть, как Googlebot». Данный инструмент позволяет вебмастерам посмотреть на сканирование страниц глазами поискового робота.
Напомним, что обновление принципов работы систем индексации разработчики Google ещё в мае 2014 года, о чем даже написали соответствующий пост. В нем говорилось, что до нынешнего момента внимание обращалось только на «сырое текстовое содержание» страницы, а JavaScript и CSS игнорировались.
