×
Россия +7 (909) 261-97-71

BDD 2018: Как загнать сайт под фильтр без ПФ и ссылочного. Конкуренция в сложных нишах и методы защиты

Россия +7 (909) 261-97-71
Шрифт:
12 36086
Подпишитесь на нас в Telegram

9-11 августа в Калининграде прошла шестая ежегодная конференция по интернет-маркетингу и заработку в сети Baltic Digital Days 2018.

В рамках секции «SEO в Европе и США» Дмитрий Петренко (Head of SEO edu-cash.com) представил доклад «Как загнать сайт под фильтр без ПФ и ссылочного. Конкуренция в сложных нишах и методы защиты».

В ходе выступления Дмитрий рассказал, как он нашел возможный способ загнать под фильтр Google даже самый трастовый сайт.

Дмитрий работает в нише essay – одной из самых конкурентных ниш на Западе. Особенностью этой ниши является то, что многие специалисты здесь занимаются «антимаркетингом» в сети для своих конкурентов. Вместо того чтобы тратить больше времени на развитие своих проектов, они тратят его на то, чтобы пессимизировать проекты конкурентов.

Свой доклад спикер построил в формате истории, чтобы аудитории была видна вся последовательность событий и было понятнее, почему команда совершала те или иные действия.

На старте работ главной задачей был трафик. На протяжении достаточно длительного времени для получения трафика использовались многие источники: SEO (продуктовые сайты, сателлиты, узконишевые сайты), контекстная реклама (AdWords, Facebook, Bing и т.д.), создавались review-сайты и т.д.

Но была также мысль, что НЧ-трафик дает очень хорошую конверсию в силу того, что он более детальный и конкретный. Ведь когда девушка вводит запрос «купить платье», то определенное количество трафика будет явно хуже конвертить по сравнению с запросом «купить зеленое платье 38 размера в горошек диаметром 5 см».

Порядка 15% всех поисковых запросов к Google делаются впервые. Более 400 млрд ключевых слов за 2017 год Google считает новыми, это чуть больше 1 млрд в день. И эти запросы не имеют частотки. А это значит, что нужно получить с них трафик.

Что предприняли: для получения НЧ-трафика сделали сетку со страницами, заточенными под НЧ-запросы.

Сетка сайтов + НЧ-запросы = много трафика

В сетках под НЧ-запросы главная проблема – это контент. А еще более ранний вопрос: где взять столько семантики?

Было найдено следующее решение: все запросы разделили условно на 4 типа (это примерно 90% поисковых запросов в нише essay).

  1. По типам и видам работ. Основные типы работ, например, Essay, paper, report, coursework, case study, dissertation etc.
  2. Общие запросы. Например, «buy essay», «Do my homework», «Custom writing services», «Who can write essay for me» и др.
  3. Subjects. Бóльшая часть предметов собрана тут, например, Literature, Technology, Biology, Geography, Physics etc.
  4. Темы работы. «Shakespeare essay», «World war essays» etc.

Как загнать сайт под фильтр без ПФ и ссылочног

Речь шла о семантике, по которой нет частотки в популярных источниках. По такой семантике, вполне вероятно войти в ТОП, не прикладывая большого количества усилий.

Этапы создания сетки:

  • создание шаблона генерации внутренней структуры,
  • генерация разделов,
  • проектирование размещения внутренних ссылок,
  • генерация контента,
  • и самое главное – слив трафика.

Какие типы слива трафика наиболее распространены на сегодняшний день:

  • при достижении ТОПа сайтом поставить 301,
  • клоакинг – 301 редирект для всех, кроме googlebot,
  • баннеры, когда любой клик по экрану превращается в переход на лендинг,
  • popup – не оставляет вариантов, кроме перехода на другой сайт, хуже всего конвертится, потому что первый порыв пользователя – закрыть сайт,
  • кнопка Order – самый низкий CTR, но высокая конверсия и др.

Но ни один из этих способов не устраивал. Стояла задача максимально конвертировать полученный трафик, сделать так, чтобы у пользователей не было шока в момент перехода с домена на домен из-за дизайна или чего-то еще. В результате было принято решение сливать трафик через iframe.

Схема работы такая: сайт, который выходил в ТОП, содержал один контент, а человек, заходивший на этот дор, видел совершенно другой сайт, который выводился поверх экрана.

Как загнать сайт под фильтр без ПФ и ссылочного

В результате получили:

  • максимум трафика на целевой ленд,
  • люди не пугались непривлекательного дизайна,
  • повысилась вероятность конверсии трафика за счет UX и дизайна,
  • минимизировали потери трафикаа после попадания на order-form.

Трафик начал потихоньку литься и превращаться в конверсии:

Как загнать сайт под фильтр без ПФ и ссылочного

Этот эксперимент проводился в конце осени 2017 года и фактический запуск сетки произошел за 4 недели до новогодних праздников.

А 3 января примерно в 10:56 сайт ушел в бан.

Как загнать сайт под фильтр без ПФ и ссылочного

Справившись с первым шоком, команда стала рассматривать возможные причины:

  • жалобы конкурентов в Google,
  • DMCA (англ. Digital Millennium Copyright Act  Закон об авторском праве в цифровую эпоху),
  • некачественное ссылочное, которое могли привести конкуренты,
  • подклейка зеркала с фильтром.

Ни один из них в итоге не подтвердился.

На следующий день пришло письмо от Google, где говорилось, что страницы сайта удалены из выдачи. И вернуть сайт в ТОП можно только заменив контент (а это ~1500 страниц).

Как загнать сайт под фильтр без ПФ и ссылочного

Изучив причины, обнаружили, что этот фильтр можно получить за дублированный, сгенерированный или «нечитабельный» контент. Но дело в том, что тексты были совершенно уникальными даже на момент бана сайта. Контент был написан копирайтерами, вычитан редакторами. И со 100% уверенностью можно утверждать, что контент не был скопирован с какого-то другого сайта.

В такой ситуации логично предположить, что как раз сайт стал жертвой копирования контента. Но анализ страниц с помощью плагиат-чекеров показал, что все страницы на 100% уникальны. Была вероятность, что плагиат-чекеры еще не обновили базу, поэтому начали искать фразы по запросу с оператором «» в Google. Все оказалось идеально, сайт имел совершенно уникальный контент, даже по мнению самого Google.

Есть важный нюанс: когда получаешь сообщение о наложении фильтра от Google, с ним ни в коем случае нельзя вступать в спор. Во-первых, потому что ответят в лучшем случаем через пару недель. А во-вторых, ответ будет шаблонным, никто не подскажет, что же у вас не так.

Так что следующим шагом стала проработка самых нереальных вариантов, анализ всех действий за последние полгода-год. В этот момент команда и вспомнила про сетку с iframe. Но поверить в это было сложно, потому что все возможные варианты касания GoogleBot`а с контентом были закрыты. Отображаемый сайт лежал в JS, а JS был закрыт всеми возможными путями, в т.ч. и в robots , и в .htaccess.

Это было реально только:

  • если гуглбот действительно научился читать JavaScript (потому как ранее этот факт имел только мифические подтверждения и, кроме заявления представителей Google, фактически все эксперименты доказывали, что JS GoogleBot не читает или же если и читает, то не корректно);
  • если GoogleBot действительно считает robots.txt рекомендациями, а не обязательными указаниями. (Фактические подтверждения этому были, но на практике это были чаще исключения, чем правила).

В Справке Google, уже давно было описано, что «инструкции robots.txt носят рекомендательный характер».

Как загнать сайт под фильтр без ПФ и ссылочного

То есть JS, который был закрыт и в robots, и в .htaccess, и вообще везде, все равно был прочитан. Была сделана сетка на 250 сайтов, на каждом из которых было примерно по 30 000 страниц. Каждая страница отображала в iframe главную страницу основного домена, куда должен был сливаться трафик. В результате, когда GoogleBot пришел, он увидел это. Но ему дали рекомендацию не индексировать содержание iframe, поэтому контент он увидел, но в индекс не добавил.

То есть Дмитрий получил фильтр за дублирование своего же контента, который фактически не находится в индексе.

Что можно предположить, зная это?

Получается, если не знать о существовании сетки, было бы просто невозможно предположить, какой именно контент дублируется, потому что в индексе дублей сайта найти невозможно.

Как только убрали iframe и отправили запрос на повторную проверку, фильтр ушел:

Как загнать сайт под фильтр без ПФ и ссылочного

Чтобы убедиться, что это не ошибка и не случайность, команда Дмитрия провела эксперимент.

Чтобы обеспечить чистоту выборки, были выбраны сразу два домена, которые лежали в личной сетке, и результат повторился. Наложили санкции – пришло письмо от Google –убрали iframe – запрос на проверку – через 10–14 дней вышли из-под фильтра.

Что удивительно, в момент бана основного домена вся сетка продолжала находиться в индексе и приносила трафик.

Вся разница между исходным кодом сайта, который видит Google и который видит человек, в элементе div id=”preloader”. Если на сайт заходит человек, а не бот, JS-обходчик видит это, запускается функция div id=”preloader” и загружается переменная U. В следующем JS – JQuerry – в самом низу кода лежит продолжение с переменной U. Именно этой переменной U присваивается загрузка страницы, которую нужно показывать человеку. Чисто технически это все. Этим и отличается основной домен, который видит Google, от дорвея. По сути, исходный код не меняется, не используются «сильно палевные» теги.

image18.gif

Исходный код дорвея, который видит бот

Исходный код с iframe

Механика исполнения:

  1. Происходит загрузка сайта.
  2. В этот момент обходчик определяет, кто пришел – бот или человек.
  3. Если бот, то JS не загружается и элемент div id="preloader" остается пустым.
  4. Если это реальный пользователь, то происходит обращение JS и происходит загрузка функции div id="preloader" в исходном коде.
  5. При загрузке div id="preloader" происходит следующее: «Основа js»: $( document ).ready(function() {$('#preloader').load(u)}).
  6. Вторая часть – подключается в другом месте. Т.е. после того как HTML загружен в div id="preloader" загрузить HTML, который указан в переменной "u".
  7. var u = "/wp-admin/{{theme_name}}/edit.php{% if query is not empty %}?query={{query}}{% endif %}";var style = "";var utm = "";var prc = "";.

Как от этого защититься?

  1. Всеми возможными способами запретить выкачивать свой сайт (насколько это будет возможно).
  2. Запретить отображать сайт через iframe.
  3. Отслеживать автоматом уникальность контента и автоматически отправлять жалобы DMCA (англ. Digital Millennium Copyright Act  Закон об авторском праве в цифровую эпоху).
  4. Обращать внимание на скачки трафика и изменение конверсий (сайт могут клоачить, используя IP сайта).

Как запретить отображать сайт через iframe:

  1. Запрет iframe через JavaScript
  2. Запрет iframe через заголовок X-Frame-Options

Подробнее о том, как это сделать.

Дмитрий Петренко заметил, что одной из самых больших глупостей было то, что они решили отображать основной продвигаемый в ТОП сайт на дорвеях.
Ошибка была сделана на самом старте. Надо было просто положить его на отдельный домен, закрыть от индексации и начать показывать как отдельный сайт. Даже если бы туда прилетел фильтр, это не стало бы такой катастрофой. 

Еще больше классных обзоров читайте здесь.

Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Иван Чумаченко
    1
    комментарий
    0
    читателей
    Иван Чумаченко
    больше года назад
    Отличный кейс! Как загнать сайт под фильтр? Просто отдать его в продвижение Пете и все готово))
    -
    3
    +
    Ответить
  • Roman Lazurenko
    1
    комментарий
    0
    читателей
    Roman Lazurenko
    больше года назад
    И самый главнй вопрос, как определяли, где бот, а где человек зашел?
    -
    3
    +
    Ответить
  • Андрей Афанасьев
    1
    комментарий
    0
    читателей
    Андрей Афанасьев
    больше года назад
    Дима, очень норм. Спасибо за контент!
    -
    1
    +
    Ответить
  • Гость
    1
    комментарий
    0
    читателей
    Гость
    больше года назад
    *** , видно что автор полное дно, работает в seo максимум год-два
    -
    13
    +
    Ответить
    • Гость
      1
      комментарий
      0
      читателей
      Гость
      Гость
      больше года назад
      Какой там год) судя по этому "кейсу", чувак либо вообще не в теме, либо это делал кто то вместо него, но делал очень коряво
      -
      0
      +
      Ответить
  • Владислав Боровков
    1
    комментарий
    0
    читателей
    Владислав Боровков
    больше года назад
    Если кратко - не понравилось.
    -
    6
    +
    Ответить
  • Denis Povaga
    2
    комментария
    0
    читателей
    Denis Povaga
    больше года назад
    Интересно интересно
    -
    -4
    +
    Ответить
  • Максим Мельник
    4
    комментария
    0
    читателей
    Максим Мельник
    больше года назад
    Кейс очень интересный. Спасибо.
    Мораль такова - нефиг обманывать Google.
    -
    1
    +
    Ответить
    • Dmitry Petrenko
      1
      комментарий
      0
      читателей
      Dmitry Petrenko
      Максим Мельник
      больше года назад
      Мораль в том, что если мы это смогли сделать сами со своим сайтом + еще с 2мя проектами, то такой же эксперимент может получиться и кого-то еще, и не обязательно над своими проектами.... Поэтому нужно защищаться!
      -
      2
      +
      Ответить
      • Александр Мурзаев
        1
        комментарий
        0
        читателей
        Александр Мурзаев
        Dmitry Petrenko
        больше года назад
        простите за дурацкий вопрос, но как тут защититься?
        -
        -3
        +
        Ответить
        • Aleksei Novikov
          1
          комментарий
          0
          читателей
          Aleksei Novikov
          Александр Мурзаев
          больше года назад
          Прочитать статью до конца, там будут перечислены меры, включая запрет отображения сайта в iframe.
          -
          3
          +
          Ответить
          • Антон Зозуля
            1
            комментарий
            0
            читателей
            Антон Зозуля
            Aleksei Novikov
            больше года назад
            Про парсеры не забудьте ;) Которые сделают ту же копию.
            И расскажите ваши выводы ТОП-магазинам, которые и так выводят в iFrame десятки сателлитов...
            Canonical на себя решает проблему с iFrame.
            Порадовало в 2018 году открытие, что Гугл индексирует JS, от SEO-шника с ниши эссеек, надеюсь, не Дмитрия...

            А по теме: не палите сетки и будет вам счастье. Бан то, почти наверняка, ручной. Никого вы этим не сольете. Хотя не, слить можно, но это совсем другая история, ...
            Про парсеры не забудьте ;) Которые сделают ту же копию.
            И расскажите ваши выводы ТОП-магазинам, которые и так выводят в iFrame десятки сателлитов...
            Canonical на себя решает проблему с iFrame.
            Порадовало в 2018 году открытие, что Гугл индексирует JS, от SEO-шника с ниши эссеек, надеюсь, не Дмитрия...

            А по теме: не палите сетки и будет вам счастье. Бан то, почти наверняка, ручной. Никого вы этим не сольете. Хотя не, слить можно, но это совсем другая история, и требует немного магии.
            -
            11
            +
            Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Роскомнадзор начал требовать от владельцев сайтов уведомлять об использовании Google Analytics. Опыт SEOnews
Денис Добрынин
1
комментарий
0
читателей
Полный профиль
Денис Добрынин - Что-то я как-то пропустил момент, с которого например госномер автомобиля или разрешение монитора и версия установленного на ПК ОС стала перс.данными... Но сегодня тоже получили бумажку с ай-яй-яем. Пойдем на прием в теруправление.
Целевая аудитория: как найти и встроиться в ее вселенную
Александра
2
комментария
0
читателей
Полный профиль
Александра - Здравствуйте! Благодарю Вас за отличную статью! Много полезной информации, написано доступным языком.
Количество пользователей ИИ в сервисах Mail превысило 5 млн человек
Сергей Карененко
1
комментарий
0
читателей
Полный профиль
Сергей Карененко - Поздравление еще худо бедно написать можно. А когда в почте больше 10к писем, вот тут хорошо, что ии есть)
В Почте и Облаке Mail появился новый тариф – «Семейный»
Анна Макарова
393
комментария
0
читателей
Полный профиль
Анна Макарова - Да, конечно, владелец видит все файлы. А про других пользователей так написано: подключившие этот тариф, могут добавлять в подписку до 4 пользователей. Всем, кого пригласили в подписку, предоставляется доступ к терабайту облачного пространства для общих дел.
Фиды, фильтры, внутренний поиск: как выжать максимум при технических ограничениях и увеличить трафик более чем в 5 раз
i-Media интернет-агентство
2
комментария
0
читателей
Полный профиль
i-Media интернет-агентство - Google Merchant работает, товары показываются - в кейсе есть скриншот с примером.
Тренды SEO в 2025 году
Борис
4
комментария
0
читателей
Полный профиль
Борис - 50/50 Описанная тобой ситуация (надеюсь, не против, что сразу на "ты") — типичная и вообще не требует какого-то глубинного опыта. Достаточно немного логики и наблюдательности. Разобью на пункты для читабельности: 1) Каннибализацию очень просто распознать. Достаточно загрузить СЯ в систему съёма позиций и мониторить источники. Если происходит некое «мигание» — идём (повторно) в топ, смотрим, подтверждаем гипотезу — склеиваем. 2) Но чаще всего эту проблему можно решить на уровне качественной группировки СЯ. А некоторые кластеры со знаком вопроса, которые мы решили разделить на несколько, достаточно держать под контролем. И снова получается, что внимательность и логика здесь могут помочь. И никакого серьёзного опыта не требуется. 3) Соглашусь, что в Яндексе правило "Интент = одна страница" — очень важно, но не всегда. Например, есть кластер, связанный с установкой сантехники, который включает запросы: "установка сантехники", "цена на установку сантехники". Вот здесь, как раз, для многих может быть неочевидно, что кластер лучше разделить на два: "Установка сантехники" и "Цена на установку сантехники". 4) Продолжая мысль из п.3 — в такой ситуации в Яндексе (скорее всего) всё будет ок. И никакой каннибализации не произойдёт. 5) Если говорить про Google (тот же п.3), то здесь, вероятно, возникнут проблемы (всё зависит от оптимизации страниц). Эти два кластера могут не дотянуть до топа из-за своей релевантности. Мы все знаем, что Google может «съесть» страницу с несколькими интентами, и всё будет ок. (в этом предложении пасхалка, что нужно сделать ;)) А если ещё поработать над ссылочным — вообще сказка. Конечно, эту проблему можно решить, но если переборщить, то каннибализация может уже произойти в Яндексе. Вот как раз чтобы уловить эту тонкую грань, и нужен хоть какой-то опыт, которого часто нет у джунов.
Россиянам могут запретить рекламу в Instagram* и Facebook*
Марина Ибушева
66
комментариев
0
читателей
Полный профиль
Марина Ибушева - Окончательное как раз и означает третье. Любой законопроект перед тем, как отправиться в Совет Федерации и на подпись прзиденту, проходит в России три обязательные стадии рассмотрения в Государственной Думе: Первое чтение - обсуждается общая концепция законопроекта. Второе чтение - более детальное обсуждение проекта, поправки и дополнения. Третье чтение (окончательное) - голосование за проект. Так что ожидается 25 марта второе и третье, окончательное чтение.
Тест «Готовы ли вы к созданию собственного агентства?»
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Крайне слабый квиз. На вопросы сможет ответить любой, кто хоть немного включит голову и подумает логически
Как вырастить канал в Дзене почти в 10 раз за 4 месяца. Кейс
Гость
1
комментарий
0
читателей
Полный профиль
Гость - миллион на трафик и еще наверное 200-300 тр за ваши услуги..... чтоб получить канал с +5000 подписчиков - для федеральной компании это около нуля жесть 1,2 за пустышку хотя так сейчас 99 процентов маркетолога работает...
5 цифровых инструментов для офлайн-бизнеса. Как привести клиента в торговую точку
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Полезно! Спасибо
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
393
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
124
Комментариев
121
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
66
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!