Россия+7 (495) 960-65-87

BDD 2018: Как загнать сайт под фильтр без ПФ и ссылочного. Конкуренция в сложных нишах и методы защиты

Россия+7 (495) 960-65-87
Шрифт:
12 27144

9-11 августа в Калининграде прошла шестая ежегодная конференция по интернет-маркетингу и заработку в сети Baltic Digital Days 2018.

В рамках секции «SEO в Европе и США» Дмитрий Петренко (Head of SEO edu-cash.com) представил доклад «Как загнать сайт под фильтр без ПФ и ссылочного. Конкуренция в сложных нишах и методы защиты».

В ходе выступления Дмитрий рассказал, как он нашел возможный способ загнать под фильтр Google даже самый трастовый сайт.

Дмитрий работает в нише essay – одной из самых конкурентных ниш на Западе. Особенностью этой ниши является то, что многие специалисты здесь занимаются «антимаркетингом» в сети для своих конкурентов. Вместо того чтобы тратить больше времени на развитие своих проектов, они тратят его на то, чтобы пессимизировать проекты конкурентов.

Свой доклад спикер построил в формате истории, чтобы аудитории была видна вся последовательность событий и было понятнее, почему команда совершала те или иные действия.

На старте работ главной задачей был трафик. На протяжении достаточно длительного времени для получения трафика использовались многие источники: SEO (продуктовые сайты, сателлиты, узконишевые сайты), контекстная реклама (AdWords, Facebook, Bing и т.д.), создавались review-сайты и т.д.

Но была также мысль, что НЧ-трафик дает очень хорошую конверсию в силу того, что он более детальный и конкретный. Ведь когда девушка вводит запрос «купить платье», то определенное количество трафика будет явно хуже конвертить по сравнению с запросом «купить зеленое платье 38 размера в горошек диаметром 5 см».

Порядка 15% всех поисковых запросов к Google делаются впервые. Более 400 млрд ключевых слов за 2017 год Google считает новыми, это чуть больше 1 млрд в день. И эти запросы не имеют частотки. А это значит, что нужно получить с них трафик.

Что предприняли: для получения НЧ-трафика сделали сетку со страницами, заточенными под НЧ-запросы.

Сетка сайтов + НЧ-запросы = много трафика

В сетках под НЧ-запросы главная проблема – это контент. А еще более ранний вопрос: где взять столько семантики?

Было найдено следующее решение: все запросы разделили условно на 4 типа (это примерно 90% поисковых запросов в нише essay).

  1. По типам и видам работ. Основные типы работ, например, Essay, paper, report, coursework, case study, dissertation etc.
  2. Общие запросы. Например, «buy essay», «Do my homework», «Custom writing services», «Who can write essay for me» и др.
  3. Subjects. Бóльшая часть предметов собрана тут, например, Literature, Technology, Biology, Geography, Physics etc.
  4. Темы работы. «Shakespeare essay», «World war essays» etc.

Как загнать сайт под фильтр без ПФ и ссылочног

Речь шла о семантике, по которой нет частотки в популярных источниках. По такой семантике, вполне вероятно войти в ТОП, не прикладывая большого количества усилий.

Этапы создания сетки:

  • создание шаблона генерации внутренней структуры,
  • генерация разделов,
  • проектирование размещения внутренних ссылок,
  • генерация контента,
  • и самое главное – слив трафика.

Какие типы слива трафика наиболее распространены на сегодняшний день:

  • при достижении ТОПа сайтом поставить 301,
  • клоакинг – 301 редирект для всех, кроме googlebot,
  • баннеры, когда любой клик по экрану превращается в переход на лендинг,
  • popup – не оставляет вариантов, кроме перехода на другой сайт, хуже всего конвертится, потому что первый порыв пользователя – закрыть сайт,
  • кнопка Order – самый низкий CTR, но высокая конверсия и др.

Но ни один из этих способов не устраивал. Стояла задача максимально конвертировать полученный трафик, сделать так, чтобы у пользователей не было шока в момент перехода с домена на домен из-за дизайна или чего-то еще. В результате было принято решение сливать трафик через iframe.

Схема работы такая: сайт, который выходил в ТОП, содержал один контент, а человек, заходивший на этот дор, видел совершенно другой сайт, который выводился поверх экрана.

Как загнать сайт под фильтр без ПФ и ссылочного

В результате получили:

  • максимум трафика на целевой ленд,
  • люди не пугались непривлекательного дизайна,
  • повысилась вероятность конверсии трафика за счет UX и дизайна,
  • минимизировали потери трафикаа после попадания на order-form.

Трафик начал потихоньку литься и превращаться в конверсии:

Как загнать сайт под фильтр без ПФ и ссылочного

Этот эксперимент проводился в конце осени 2017 года и фактический запуск сетки произошел за 4 недели до новогодних праздников.

А 3 января примерно в 10:56 сайт ушел в бан.

Как загнать сайт под фильтр без ПФ и ссылочного

Справившись с первым шоком, команда стала рассматривать возможные причины:

  • жалобы конкурентов в Google,
  • DMCA (англ. Digital Millennium Copyright Act  Закон об авторском праве в цифровую эпоху),
  • некачественное ссылочное, которое могли привести конкуренты,
  • подклейка зеркала с фильтром.

Ни один из них в итоге не подтвердился.

На следующий день пришло письмо от Google, где говорилось, что страницы сайта удалены из выдачи. И вернуть сайт в ТОП можно только заменив контент (а это ~1500 страниц).

Как загнать сайт под фильтр без ПФ и ссылочного

Изучив причины, обнаружили, что этот фильтр можно получить за дублированный, сгенерированный или «нечитабельный» контент. Но дело в том, что тексты были совершенно уникальными даже на момент бана сайта. Контент был написан копирайтерами, вычитан редакторами. И со 100% уверенностью можно утверждать, что контент не был скопирован с какого-то другого сайта.

В такой ситуации логично предположить, что как раз сайт стал жертвой копирования контента. Но анализ страниц с помощью плагиат-чекеров показал, что все страницы на 100% уникальны. Была вероятность, что плагиат-чекеры еще не обновили базу, поэтому начали искать фразы по запросу с оператором «» в Google. Все оказалось идеально, сайт имел совершенно уникальный контент, даже по мнению самого Google.

Есть важный нюанс: когда получаешь сообщение о наложении фильтра от Google, с ним ни в коем случае нельзя вступать в спор. Во-первых, потому что ответят в лучшем случаем через пару недель. А во-вторых, ответ будет шаблонным, никто не подскажет, что же у вас не так.

Так что следующим шагом стала проработка самых нереальных вариантов, анализ всех действий за последние полгода-год. В этот момент команда и вспомнила про сетку с iframe. Но поверить в это было сложно, потому что все возможные варианты касания GoogleBot`а с контентом были закрыты. Отображаемый сайт лежал в JS, а JS был закрыт всеми возможными путями, в т.ч. и в robots , и в .htaccess.

Это было реально только:

  • если гуглбот действительно научился читать JavaScript (потому как ранее этот факт имел только мифические подтверждения и, кроме заявления представителей Google, фактически все эксперименты доказывали, что JS GoogleBot не читает или же если и читает, то не корректно);
  • если GoogleBot действительно считает robots.txt рекомендациями, а не обязательными указаниями. (Фактические подтверждения этому были, но на практике это были чаще исключения, чем правила).

В Справке Google, уже давно было описано, что «инструкции robots.txt носят рекомендательный характер».

Как загнать сайт под фильтр без ПФ и ссылочного

То есть JS, который был закрыт и в robots, и в .htaccess, и вообще везде, все равно был прочитан. Была сделана сетка на 250 сайтов, на каждом из которых было примерно по 30 000 страниц. Каждая страница отображала в iframe главную страницу основного домена, куда должен был сливаться трафик. В результате, когда GoogleBot пришел, он увидел это. Но ему дали рекомендацию не индексировать содержание iframe, поэтому контент он увидел, но в индекс не добавил.

То есть Дмитрий получил фильтр за дублирование своего же контента, который фактически не находится в индексе.

Что можно предположить, зная это?

Получается, если не знать о существовании сетки, было бы просто невозможно предположить, какой именно контент дублируется, потому что в индексе дублей сайта найти невозможно.

Как только убрали iframe и отправили запрос на повторную проверку, фильтр ушел:

Как загнать сайт под фильтр без ПФ и ссылочного

Чтобы убедиться, что это не ошибка и не случайность, команда Дмитрия провела эксперимент.

Чтобы обеспечить чистоту выборки, были выбраны сразу два домена, которые лежали в личной сетке, и результат повторился. Наложили санкции – пришло письмо от Google –убрали iframe – запрос на проверку – через 10–14 дней вышли из-под фильтра.

Что удивительно, в момент бана основного домена вся сетка продолжала находиться в индексе и приносила трафик.

Вся разница между исходным кодом сайта, который видит Google и который видит человек, в элементе div id=”preloader”. Если на сайт заходит человек, а не бот, JS-обходчик видит это, запускается функция div id=”preloader” и загружается переменная U. В следующем JS – JQuerry – в самом низу кода лежит продолжение с переменной U. Именно этой переменной U присваивается загрузка страницы, которую нужно показывать человеку. Чисто технически это все. Этим и отличается основной домен, который видит Google, от дорвея. По сути, исходный код не меняется, не используются «сильно палевные» теги.

image18.gif

Исходный код дорвея, который видит бот

Исходный код с iframe

Механика исполнения:

  1. Происходит загрузка сайта.
  2. В этот момент обходчик определяет, кто пришел – бот или человек.
  3. Если бот, то JS не загружается и элемент div id="preloader" остается пустым.
  4. Если это реальный пользователь, то происходит обращение JS и происходит загрузка функции div id="preloader" в исходном коде.
  5. При загрузке div id="preloader" происходит следующее: «Основа js»: $( document ).ready(function() {$('#preloader').load(u)}).
  6. Вторая часть – подключается в другом месте. Т.е. после того как HTML загружен в div id="preloader" загрузить HTML, который указан в переменной "u".
  7. var u = "/wp-admin/{{theme_name}}/edit.php{% if query is not empty %}?query={{query}}{% endif %}";var style = "";var utm = "";var prc = "";.

Как от этого защититься?

  1. Всеми возможными способами запретить выкачивать свой сайт (насколько это будет возможно).
  2. Запретить отображать сайт через iframe.
  3. Отслеживать автоматом уникальность контента и автоматически отправлять жалобы DMCA (англ. Digital Millennium Copyright Act  Закон об авторском праве в цифровую эпоху).
  4. Обращать внимание на скачки трафика и изменение конверсий (сайт могут клоачить, используя IP сайта).

Как запретить отображать сайт через iframe:

  1. Запрет iframe через JavaScript
  2. Запрет iframe через заголовок X-Frame-Options

Подробнее о том, как это сделать.

Дмитрий Петренко заметил, что одной из самых больших глупостей было то, что они решили отображать основной продвигаемый в ТОП сайт на дорвеях.
Ошибка была сделана на самом старте. Надо было просто положить его на отдельный домен, закрыть от индексации и начать показывать как отдельный сайт. Даже если бы туда прилетел фильтр, это не стало бы такой катастрофой. 

Еще больше классных обзоров читайте здесь.

(Голосов: 2, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Иван Чумаченко
    1
    комментарий
    0
    читателей
    Иван Чумаченко
    6 месяцев назад
    Отличный кейс! Как загнать сайт под фильтр? Просто отдать его в продвижение Пете и все готово))
    -
    2
    +
    Ответить
  • Roman Lazurenko
    1
    комментарий
    0
    читателей
    Roman Lazurenko
    6 месяцев назад
    И самый главнй вопрос, как определяли, где бот, а где человек зашел?
    -
    3
    +
    Ответить
  • Андрей Афанасьев
    1
    комментарий
    0
    читателей
    Андрей Афанасьев
    6 месяцев назад
    Дима, очень норм. Спасибо за контент!
    -
    1
    +
    Ответить
  • Гость
    1
    комментарий
    0
    читателей
    Гость
    6 месяцев назад
    *** , видно что автор полное дно, работает в seo максимум год-два
    -
    13
    +
    Ответить
    • Гость
      1
      комментарий
      0
      читателей
      Гость
      Гость
      6 месяцев назад
      Какой там год) судя по этому "кейсу", чувак либо вообще не в теме, либо это делал кто то вместо него, но делал очень коряво
      -
      0
      +
      Ответить
  • Владислав Боровков
    1
    комментарий
    0
    читателей
    Владислав Боровков
    6 месяцев назад
    Если кратко - не понравилось.
    -
    5
    +
    Ответить
  • Denis Povaga
    2
    комментария
    0
    читателей
    Denis Povaga
    6 месяцев назад
    Интересно интересно
    -
    -4
    +
    Ответить
  • Максим Мельник
    4
    комментария
    0
    читателей
    Максим Мельник
    6 месяцев назад
    Кейс очень интересный. Спасибо.
    Мораль такова - нефиг обманывать Google.
    -
    1
    +
    Ответить
    • Dmitry Petrenko
      1
      комментарий
      0
      читателей
      Мораль в том, что если мы это смогли сделать сами со своим сайтом + еще с 2мя проектами, то такой же эксперимент может получиться и кого-то еще, и не обязательно над своими проектами.... Поэтому нужно защищаться!
      -
      2
      +
      Ответить
      • Александр Мурзаев
        1
        комментарий
        0
        читателей
        простите за дурацкий вопрос, но как тут защититься?
        -
        -3
        +
        Ответить
        • Aleksei Novikov
          1
          комментарий
          0
          читателей
          Прочитать статью до конца, там будут перечислены меры, включая запрет отображения сайта в iframe.
          -
          3
          +
          Ответить
          • Антон Зозуля
            1
            комментарий
            0
            читателей
            Антон Зозуля
            Aleksei Novikov
            6 месяцев назад
            Про парсеры не забудьте ;) Которые сделают ту же копию.
            И расскажите ваши выводы ТОП-магазинам, которые и так выводят в iFrame десятки сателлитов...
            Canonical на себя решает проблему с iFrame.
            Порадовало в 2018 году открытие, что Гугл индексирует JS, от SEO-шника с ниши эссеек, надеюсь, не Дмитрия...

            А по теме: не палите сетки и будет вам счастье. Бан то, почти наверняка, ручной. Никого вы этим не сольете. Хотя не, слить можно, но это совсем другая история, ...
            Про парсеры не забудьте ;) Которые сделают ту же копию.
            И расскажите ваши выводы ТОП-магазинам, которые и так выводят в iFrame десятки сателлитов...
            Canonical на себя решает проблему с iFrame.
            Порадовало в 2018 году открытие, что Гугл индексирует JS, от SEO-шника с ниши эссеек, надеюсь, не Дмитрия...

            А по теме: не палите сетки и будет вам счастье. Бан то, почти наверняка, ручной. Никого вы этим не сольете. Хотя не, слить можно, но это совсем другая история, и требует немного магии.
            -
            11
            +
            Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Рейтинг Известности 2018: второй этап народного голосования
Константин Сокол
3
комментария
0
читателей
Полный профиль
Константин Сокол - Кто был ответственный за дизайн таблицы голосования? Копирайтер?
Сколько ссылок помогут продвинуть молодой сайт
Павел Андрейчук
33
комментария
0
читателей
Полный профиль
Павел Андрейчук - Дело в том, что вряд ли в ваших платных "качественных" кейсах найдётся хоть пару % действительно новой и полезной информации которой бы не было на общедоступных источниках.
Сайт на WordPress: за и против
Мира Смурков
1
комментарий
0
читателей
Полный профиль
Мира Смурков - Людмила, я согласен с большинством комментаторов. Вы хоть один полноценный магазин сделали на этих движках? Woocommerce это система с супер возможностями. И к ней есть дополнительные модули, с функционалом, который вряд ли появиться на Битрикс. А самому это программировать - сотни тысяч рублей на разработку. А приведя в пример сложности с robots.txt и Sitemap вы ставите под вопрос вашу компетенцию в понимании Интернет-бизнеса и веб-разработки в целом. Во-первых это такие мелочи, а во-вторых это все делается на вордпресса за 2 минуты, и опять же с возможностями многократно превышающими Битрикс.
Обзор популярных CMS: плюсы и минусы
Гость
1
комментарий
0
читателей
Полный профиль
Гость - как по мне joomla! самая удобная и гибкая система из всех современных (я про wp раньше так думал, пока меня в Extrit не убедили в обратном). Раньше всегда оставался на техподдержке, потому что сам заполнять не мог, а теперь делаю это сам, потому что админка простая как палка. + на других цмсках при просьбе что-то добавить мне либо цену загибали овер 100500 либо говорили - нереально, делай новый сайт. А на joomla норм
Google обошел Яндекс по популярности в России в 2018 году: исследование SEO Auditor
Рамблер
1
комментарий
0
читателей
Полный профиль
Рамблер - Вот вроде отечественный - это сказано верно.. «Я́ндекс» — российская транснациональная компания, зарегистрированная в Нидерландах. Так говорится в Википедии. И с хрена ли ОТЕЧЕСТВЕННЫЙ поисковик зарегистрирован в Европе? И где платится основная часть налогов? Ну-ууу, точно не в России. И если запахнет жаренным, то был Яндекс и нет Яндекса!
8 методик в SEO, от которых давно пора отказаться
Евгений Сметанин
11
комментариев
0
читателей
Полный профиль
Евгений Сметанин - Факторов вообще очень много, согласитесь, вы будете использовать максимальное их количество, особенно, если в ТОПе засели агрегаторы с сумасшедшими ПФ. В таких случаях, вхождение ключа в домен для маленького профильного сайта, сыграет свою положительную роль. Конечно же, если контент на страницах хорошего качества. У меня есть несколько успешных кейсов на эту тему. На сайте продают несколько видов товаров, а выстреливает в ТОП тот, название которого присутствует в доменном имени. Как корабль назовешь, так он и поплывет, верно?))
Инструкция: настраиваем цели Яндекс.Метрики через Google Tag Manager
Roman Gorkunenko
1
комментарий
0
читателей
Полный профиль
Roman Gorkunenko - Здравствуйте. Подскажите, пожалуйста, можно с айпи метрики вытащить среднюю стоимость клика по утм меткам? В метрике есть такой шаблон tags_u_t_m, но он не совместим с меткой директа, у них разные префиксы.
Аудит структуры интернет-магазина мебели от «Ашманов и партнеры»
Дмитрий
11
комментариев
0
читателей
Полный профиль
Дмитрий - Сергей, а вы допускаете, что вся ваша жизнь - seo-миф?
Идеальный каталог для продвижения сайта: структура и функционал
Татьяна Ягутьева
6
комментариев
0
читателей
Полный профиль
Татьяна Ягутьева - Уважаемый Денис, сделайте сами напишите свою статью. Посоветуйте другую универсальную CMS, желательно идеальную по всем параметрам. Битрикс очень сильно зависит от разработчика. Если у него прямые руки - бардака не будет. А вообще, конечно, холивар на тему CMS/конструкторов/фреймворков - наверное, вечный. Давайте не будем начинать :)
Как выбрать подрядчика для продвижения сайта: 7 уровней воронки поиска
aashutosh
1
комментарий
0
читателей
Полный профиль
aashutosh - data science training institute in noida- Webtrackker Technology (8802820025) providing Data Science Training in Noida. Get ✓ 40 Hours Learning training✓ 70 Hrs Projects ✓ 24 X 7 Support ✓ Job Assistance. WEBTRACKKER TECHNOLOGY (P) LTD. C - 67, sector- 63, Noida, India. E-47 Sector 3, Noida, India. +91 - 8802820025 0120-433-0760 +91 - 8810252423 012 - 04204716 EMAIL:info@webtrackker.com webtrackker.com/Best-Data-Science-Training-Institute-in-Noida.php
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
345
Комментариев
262
Комментариев
246
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
74
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
56
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!