Базовые SEO-настройки DEV- и LIVE-серверов

Ярослав Домбровский

Руководитель SEO-направления INET Studio

1. Индексация DEV-сервера. 
2. Проблемы с индексацией LIVE-сервера. 

Также в статье заодно затронули базовые настройки CMS. 

Приведенный ниже список можно расширять и дополнять, но его малый объем – как раз большое преимущество. Мы в компании договариваемся, что все разработчики и системные администраторы знают и понимают все эти пункты и учитывают их в своей работе всегда. Задача SEO – чекать, чтобы это все было учтено. 

Для DEV 

Настройка сервера DEV 

С этими настройками у нас работают все DEV-серверы, на которых лежит новый функционал, новые (невыпущенные) релизы, проекты, которые создаются с нуля. В общем, все то, что разработано, но еще не опубликовано. 

Главное: все указанные ниже настройки должны работать только на DEV и никоим образом не переноситься на LIVE.  

1. Предавторизация по HTTP – никто посторонний не должен иметь доступ к закрытой версии. По сути – это главный и самый ключевой момент. Но рассмотрим дополнительные меры, если авторизация слетит. А такое бывает. 
2. На каждой странице мета-тег < meta name="robots" content="noindex, nofollow" >. 
3. Robots.txt с содержанием:

   User-agent: *

   Disallow: / 

4. Множественные слеши и одиночный слеш после URL редиректят на «без /». 
5. Настройка редиректа всех URL с «/» в конце на «без /» в конце домена. 
6. Сайт с www редиректит на без www. 
7. Сайт работает на https. 
8. Http редиректит на https. 

Запуск нового проекта с DEV (сервер и CMS) 

Этот чек-лист мы также передаем своим разработчикам. Это святая святых в моменте, когда мы разработали новый веб-сайт и выводим его в лайв (первый запуск). 

Важно изменить: 

1. Заменить/проверить домен в rel=canonical на всех страницах на актуальный LIVE домен. 
2. Актуализировать robots.txt с SEO-командой (он всегда адресный для каждого сайта). Должен быть доступен по адресу site.ru/robots.txt. 
3. Заменить на LIVE тег на всех страницах:

   с < meta name="robots" content="noindex, nofollow" >

   на < meta name="robots" content="index, follow" > 

4. Генерация карты сайта: sitemap.xml. Карта должна быть доступна по адресу site.ru/sitemap.xml с актуальными страницами и корректным live доменом в URLs. 
5. HomePage доступна только по одному адресу – доменное имя. Никаких сайт.ру/index.php, сайт.ру/home и т.д. 
6. Множественные слеши и одиночный слеш после URL редиректят на «без /». 
7. Настройка редиректа всех URL с «/» в конце на «без /» в конце домена. 
8. Сайт с www редиректит на адрес без www. 
9. Сайт работает на https. 
10. Http редиректит на https. 

Обновление с DEV на LIVE 

Теперь очень кратко, за чем мы следим, когда на LIVE выезжает новый релиз. Что надо проверить, что учесть при выкатке обновлений на LIVE. 

При выкатке обновлений все настройки сервера и контента на запрет индексации должны оставаться только в рамках DEV. Вот что не должно поехать с обновлением на LIVE: 

1. robots.txt 
2. < meta name="robots" content="noindex, nofollow" > 
3. http-предавторизация 

Для LIVE 

Теперь непосредственно про LIVE-сервер. Что важно настроить на нем и за чем следить. Это очень базовые моменты – то, что мы требуем от разработчика как знание. 

Настройка сервера для LIVE 

1. Настройка редиректа всех URLs с «/» в конце на «без /» в конце домена. На самом деле вы можете сделать наоборот, это не принципиально. Важно чекнуть этот момент и не допустить, чтобы работали URL-адреса и со слешем на конце, и без слеша параллельно. 
2. Множественные слеши после URL редиректят на БЕЗ слеша. 
3. Сайт с www редиректит на без www. 
4. Http редиректит на https. 

Базовые SEO-настройки CMS 

Что надо знать каждому программисту, когда он создает новый веб-сайт. 

1. Использовать пререндеринг, если ключевые элементы сайта сделаны на JavaScript. Так мы избегаем проблем с индексацией ключевых моментов. 
2. Использовать мета-тег на всех страницах (кроме специально исключенных SEO-командой) < meta name="robots" content="index, follow" > 
3. Использовать канонические ссылки rel=canonical с учетом протокола HTTPS. 
4. Проследить, что страницы пагинации имеют тег < meta name="robots" content="noindex, follow" >. Понимаю, что это очень спорный момент. Вы можете делать так, как считаете правильным. Важно лишь прописать адресные условия для страниц пагинации. Если они вообще у вас будут. 
5. Проверить наличие robots.txt с дефолтным содержанием самой CMS + дописать

   Под User-agent: *

   Disallow: /*?

   Sitemap: sitemap.xml (адрес к сайте карта). 

6. Проследить, что HomePage доступна только по одному адресу – доменное имя. Никаких сайт.ру/index.php, сайт.ру/home и т.д. 

Список специально сделан кратким, так как мы требуем от разработчиков и сисадминов знания и понимания всех этих пунктов. Важно, чтобы backend и сервер учитывали это при работах. 

Если у вас есть вопросы или хотите уточнить информацию, пишите, пожалуйста, в комментариях.