1. Введение
Прежде чем начать непосредственное продвижение сайта, мы должны проанализировать сайт на соответствие требованиям поисковой оптимизации. Этому был посвящен мастер-класс, ранее уже размещенный на проекте seonews.ru - «Подготовка сайта к продвижению: первичный аудит». Первичный аудит должен определить возможность продвижения как таковую и стать опорным планом для дальнейших работ над сайтом, т.е. после выявления всех найденных ошибок и недочетов, мы должны все исправить.
О том, каким образом исправить ошибки и недочеты расскажет уже данный мастер-класс.
2. Обязательные технические доработки
В первую очередь надо провести доработки технической составляющей. Обязательными здесь будут доработки, связанные с правильной реализацией 404 ошибки, грамотной настройкой файла robots.txt и редиректов. Корректная настройка всего вышеперечисленного поможет избежать большинства технических проблем при продвижении.
1. Реализация корректной обработки 404 ошибки
Сервер должен корректно обрабатывать 404 ошибку, т.е. он должен при запросе несуществующей на сайте страницы отдавать статус-код 404.
Однако можно сделать так, чтобы вместе со статусным кодом отдавалась еще и страничка с каким-либо содержанием, а не просто стандартная страница ошибки «The page cannot be found». Это желательно сделать, т.к. в случае отдачи стандартной ошибки возможна негативная реакция пользователя и его последующий уход с сайта.
Если описать ситуацию простым языком, то поисковая система при запросе несуществующей страницы будет получать 404 и не индексировать страницу, пользователь же при запросе аналогичной страницы получит страницу с каким-либо содержанием, например карту сайта, и продолжит навигацию.
Проверка реализации корректной обработки 404 ошибки осуществляется следующим образом. Заведомо несуществующая страница добавляется в Яндекс. Если при попытке добавления сайта будет выдана ошибка «Адрес http://www.example.com/qwerwetsgdfg.htm не был внесен в базу Яндекса, так как он не существует (сервер возвращает ошибку 404)», то значит сервер настроен корректно.
В обратном случае нужно правильно настроить apache.
Если у вас PHP установлен как CGI, то добавьте в корне сайта в файл .htaccess следующие строки:
RewriteEngine On
RewriteBase
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^[0-9a-zA-Z_/.-]+.php$ /404.php
ErrorDocument 404 /404.php
Для PHP, установленном как ISAPI, в .htaccess достаточно добавить одну строку:
ErrorDocument 404 /404.php.
После этого нужно создать в корневой папке сайта файл 404.php, который и будет отдаваться пользователю в случае, если запрашиваемая страница не существует.
Более подробно о настройках сервера и 404-й ошибке можно узнать по адресу:
2. Создание корректного файла robots.txt
Отсутствие на сайте файла robots.txt не является в настоящее время причиной, по которой могут возникнуть проблемы, связанные с индексацией сайта. Однако некорректный robots.txt наоборот может добавить много хлопот, например, можно случайно закрыть для индексации нужные страницы сайта.
Поэтому при проведении доработок по сайту в первую очередь нужно проверить, какие страницы запрещены к индексации роботом Яндекса. Для этого нужно воспользоваться скриптом . После этого надо удостовериться, что среди страниц нет тех, которые будут продвигаться в поисковой системе.
О том, как создать для сайта корректный файл robots.txt было сказано уже не раз, поэтому мы не будем повторяться.
Стоит добавить, что во время проведения доработок сайт лучше запретить в файле robots.txt для индексации, т.к. поисковая система может проиндексировать «ненужные» страницы: недоработанные разделы, страницы с паролями, конфигурационные файлы, а повторная индексации может случиться нескоро.
3. Проверка редиректов
Присутствие на сайте редиректов (перенаправления с одной страницы на другую) может быть не замечено пользователями, однако обязательно будет замечено поисковой системой. Какова будет реакция поисковой системы?
Яндекс, получив в заголовке ответа информацию, что данный URL является редиректом (коды 3хх), добавит его в список адресов для обхода URL, на который ведет редирект. Если редирект был постоянный (код 301), либо на странице встретилась директива refresh, то старый URL будет исключен из списка обхода.
В подтверждение этого наглядный пример. Воспользуемся сервисом анализа заголовков .
На странице присутствует редирект:
< meta http-equiv = "Refresh" content = "0; url=http://www.microsoft.com/rus/">
И этой страницы нет в базе Яндекса!
Если все же присутствие редиректа на сайте обязательно, то тогда нужно его правильно настроить, т.е. если на выдаваемых страницах присутствуют заголовки 301, 302, то тело документа не должно отдаваться. Должны отдаваться только заголовки:
HTTP/1.1 302 Moved
Location: (здесь адрес для перенаправления)
Правильная реализация присутствует на сайте (именно без www!)
3. Внутренние ссылки
Помимо того, что навигация по сайту должна быть удобной для пользователя, она еще должна быть эффективна с точки зрения продвижения, т.е. каждая ссылка внутри сайта должна вносить свой вклад в ссылочный вес страницы, на которую ссылается. Помимо этого ссылки внутри сайта должны корректно восприниматься поисковой системой для того, чтобы, следуя по этим ссылкам, робот в итоге проиндексировал бы весь сайт. Разберем все подробнее.
1. Flash-графика
На официальном Яндексе написано, что flash-графика индексируется, но на самом деле это не всегда так! Вот несколько примеров. Сайты сделаны с использованием технологии Macromedia Flash версии 8. В Яндексе проиндексирована только лишь главная страница.
Отсюда можно сделать вывод, что в навигационном меню сайта не следует использовать flash, чтобы не создавать лишних проблем при индексации.
Или есть еще один вариант – продублировать ссылки flash-меню, используя стандартные средства html. Как пример – на сайте присутствует меню, сделанное с помощью flash. Яндекс проиндексировал только страницы каталога ссылок и главную страницу. Владелец сайта внял совету оптимизаторов и создал в футере ссылочный блок - . Теперь его сайт будет проиндексирован Яндексом.
2. Java-script
Использование java-script в навигационном меню сайта тоже плохо сказывается на индексации всего сайта. Яндекс не разбирает текст, расположенный внутри , поэтому если Вы все-таки хотите оставить на сайте красивое выпадающее меню, сделанное на «Яве», то тогда продублируйте это меню с помощью простых текстовых ссылок, расположив их в футере сайта.
По поводу ссылок требуется добавить еще одно замечание – хоть Яндекс и воспринимает относительные адреса ссылок, т.е. ссылки вида /about.htm, все же лучше использовать внутри сайта ссылки с абсолютным адресом, т.е. вида .
3. Картинки в меню
Использование картинок в навигационном меню возможно, но с определенными ограничениями – картинки должны иметь подписи (параметр alt в теге img). Это позволит пользователю комфортно перемещаться по страницам сайта при отключенном показе графики. Подписи должны быть короткими и содержать информацию именно о странице, куда ведет ссылка, например, «домой», «продукция», «клиенты», а не общую информацию о сайте.
Стоить отметить, что хорошему и правильному индексированию может поспособствовать карта сайта. Карта не должна быть очень маленькой, однако и не настолько большой, чтобы Яндекс решил проигнорировать и не проиндексировать часть ссылок с карты. Разумным ограничением здесь будет 100 ссылок.
4. Ссылки единого вида
Все адреса страниц на сайте и соответственно все ссылки, используемые внутри сайта должны быть единого вида. Т.е если адрес сайта имеет вид , то и все ссылки должны включать в себя www.
Также в robots.txt нужно прописать директиву Host, указав после нее адрес сайта с www. Т.е.
Host www.site.ru
Несоблюдение этих правил может привести к тому, что часть страниц сайта проиндексируется с www, другая без www, и ссылочный вес таким образом распределится нерационально.
Также во всех ссылках с внутренних страниц надо в параметре href писать а не .
5. Идентификаторы сессий
Использование на сайте идентификаторов сессий может значительно снизить эффективность продвижения сайта. Чтобы проверить, употребляются ли идентификаторы сессий, требуется зайти на сайт, предварительно в настройках браузера отключив cookies. Если в урле сайта есть PHPSESSID – это значит, что сайт с идентификаторами сессий.
Подробно и доступно про идентификаторы сессий написано в статье «Недостатки использования идентификаторов сессий при продвижении сайтов».
4. Дополнительные технические доработки
Есть еще некоторые моменты, на которые стоить обратить внимание при осуществлении доработок.
1. Last-Modified
Много было разговоров про то, следует ли настраивать сервер, чтобы корректно отдавалась дата последнего изменения. На самом Яндексе пишут , что если сервер не будет отдавать last-modified, то:
- во-первых, в результатах поиска не будет показываться дата рядом со страницами сайта, и соответственно при сортировке по дате сайт не будет виден пользователям;
- во-вторых, робот не сможет получить информацию о том, обновилась ли страница сайта с момента последней индексации, а так как число страниц, получаемых роботом с сайта за один заход, ограничено, изменившиеся страницы будут переиндексироваться реже.
Второе утверждение можно смело оспорить – Яндекс не реагирует на значение last-modified и сам определяет, изменился ли документ или нет. В подтверждении этого уже был проведен эксперимент.
1. Кодировка
Для того, чтобы указывать браузеру, какая у web-страницы кодировка, существует специальный тег. В примере с помощью тега указывается, что тип документа – text/html, а кодировка - Windows-1251
< meta http-equiv="Content-Type" content="text/html; charset=Windows-1251" />
Робот Яндекса хорошо определяет кодировку даже при отсутствии данного тега, поэтому с точки зрения продвижения наличие данного тега необязательно (кроме тех случаев, когда используется ну уж очень экзотичная кодировка).
Однако для удобства пользователя лучше добавить данный тег на страницу, т.к. не все браузеры хорошо определяют кодировку.
5. Заключение
Оптимизация подразумевает под собой, прежде всего, улучшение. Оптимизация под поисковые системы – это процесс улучшения, шлифовки и оттачивания работы сайта.
Просто необходимо для последующего успешного продвижения сайта провести необходимые технические доработки, чтобы сайт функционировал безукоризненно и с точки зрения поисковой системы, и с точки зрения пользователя.
Описанные выше способы проверки и исправления возможных технических ошибок и недочетов должны помочь оптимизаторам улучшить свой сайт с технической стороны, чтобы потом уже переходить к доработкам текстовой составляющей.
ВКонтакте
