Россия+7 (495) 960-65-87

BDD 2018: Как загнать сайт под фильтр без ПФ и ссылочного. Конкуренция в сложных нишах и методы защиты

Россия+7 (495) 960-65-87
Шрифт:
12 27784

9-11 августа в Калининграде прошла шестая ежегодная конференция по интернет-маркетингу и заработку в сети Baltic Digital Days 2018.

В рамках секции «SEO в Европе и США» Дмитрий Петренко (Head of SEO edu-cash.com) представил доклад «Как загнать сайт под фильтр без ПФ и ссылочного. Конкуренция в сложных нишах и методы защиты».

В ходе выступления Дмитрий рассказал, как он нашел возможный способ загнать под фильтр Google даже самый трастовый сайт.

Дмитрий работает в нише essay – одной из самых конкурентных ниш на Западе. Особенностью этой ниши является то, что многие специалисты здесь занимаются «антимаркетингом» в сети для своих конкурентов. Вместо того чтобы тратить больше времени на развитие своих проектов, они тратят его на то, чтобы пессимизировать проекты конкурентов.

Свой доклад спикер построил в формате истории, чтобы аудитории была видна вся последовательность событий и было понятнее, почему команда совершала те или иные действия.

На старте работ главной задачей был трафик. На протяжении достаточно длительного времени для получения трафика использовались многие источники: SEO (продуктовые сайты, сателлиты, узконишевые сайты), контекстная реклама (AdWords, Facebook, Bing и т.д.), создавались review-сайты и т.д.

Но была также мысль, что НЧ-трафик дает очень хорошую конверсию в силу того, что он более детальный и конкретный. Ведь когда девушка вводит запрос «купить платье», то определенное количество трафика будет явно хуже конвертить по сравнению с запросом «купить зеленое платье 38 размера в горошек диаметром 5 см».

Порядка 15% всех поисковых запросов к Google делаются впервые. Более 400 млрд ключевых слов за 2017 год Google считает новыми, это чуть больше 1 млрд в день. И эти запросы не имеют частотки. А это значит, что нужно получить с них трафик.

Что предприняли: для получения НЧ-трафика сделали сетку со страницами, заточенными под НЧ-запросы.

Сетка сайтов + НЧ-запросы = много трафика

В сетках под НЧ-запросы главная проблема – это контент. А еще более ранний вопрос: где взять столько семантики?

Было найдено следующее решение: все запросы разделили условно на 4 типа (это примерно 90% поисковых запросов в нише essay).

  1. По типам и видам работ. Основные типы работ, например, Essay, paper, report, coursework, case study, dissertation etc.
  2. Общие запросы. Например, «buy essay», «Do my homework», «Custom writing services», «Who can write essay for me» и др.
  3. Subjects. Бóльшая часть предметов собрана тут, например, Literature, Technology, Biology, Geography, Physics etc.
  4. Темы работы. «Shakespeare essay», «World war essays» etc.

Как загнать сайт под фильтр без ПФ и ссылочног

Речь шла о семантике, по которой нет частотки в популярных источниках. По такой семантике, вполне вероятно войти в ТОП, не прикладывая большого количества усилий.

Этапы создания сетки:

  • создание шаблона генерации внутренней структуры,
  • генерация разделов,
  • проектирование размещения внутренних ссылок,
  • генерация контента,
  • и самое главное – слив трафика.

Какие типы слива трафика наиболее распространены на сегодняшний день:

  • при достижении ТОПа сайтом поставить 301,
  • клоакинг – 301 редирект для всех, кроме googlebot,
  • баннеры, когда любой клик по экрану превращается в переход на лендинг,
  • popup – не оставляет вариантов, кроме перехода на другой сайт, хуже всего конвертится, потому что первый порыв пользователя – закрыть сайт,
  • кнопка Order – самый низкий CTR, но высокая конверсия и др.

Но ни один из этих способов не устраивал. Стояла задача максимально конвертировать полученный трафик, сделать так, чтобы у пользователей не было шока в момент перехода с домена на домен из-за дизайна или чего-то еще. В результате было принято решение сливать трафик через iframe.

Схема работы такая: сайт, который выходил в ТОП, содержал один контент, а человек, заходивший на этот дор, видел совершенно другой сайт, который выводился поверх экрана.

Как загнать сайт под фильтр без ПФ и ссылочного

В результате получили:

  • максимум трафика на целевой ленд,
  • люди не пугались непривлекательного дизайна,
  • повысилась вероятность конверсии трафика за счет UX и дизайна,
  • минимизировали потери трафикаа после попадания на order-form.

Трафик начал потихоньку литься и превращаться в конверсии:

Как загнать сайт под фильтр без ПФ и ссылочного

Этот эксперимент проводился в конце осени 2017 года и фактический запуск сетки произошел за 4 недели до новогодних праздников.

А 3 января примерно в 10:56 сайт ушел в бан.

Как загнать сайт под фильтр без ПФ и ссылочного

Справившись с первым шоком, команда стала рассматривать возможные причины:

  • жалобы конкурентов в Google,
  • DMCA (англ. Digital Millennium Copyright Act  Закон об авторском праве в цифровую эпоху),
  • некачественное ссылочное, которое могли привести конкуренты,
  • подклейка зеркала с фильтром.

Ни один из них в итоге не подтвердился.

На следующий день пришло письмо от Google, где говорилось, что страницы сайта удалены из выдачи. И вернуть сайт в ТОП можно только заменив контент (а это ~1500 страниц).

Как загнать сайт под фильтр без ПФ и ссылочного

Изучив причины, обнаружили, что этот фильтр можно получить за дублированный, сгенерированный или «нечитабельный» контент. Но дело в том, что тексты были совершенно уникальными даже на момент бана сайта. Контент был написан копирайтерами, вычитан редакторами. И со 100% уверенностью можно утверждать, что контент не был скопирован с какого-то другого сайта.

В такой ситуации логично предположить, что как раз сайт стал жертвой копирования контента. Но анализ страниц с помощью плагиат-чекеров показал, что все страницы на 100% уникальны. Была вероятность, что плагиат-чекеры еще не обновили базу, поэтому начали искать фразы по запросу с оператором «» в Google. Все оказалось идеально, сайт имел совершенно уникальный контент, даже по мнению самого Google.

Есть важный нюанс: когда получаешь сообщение о наложении фильтра от Google, с ним ни в коем случае нельзя вступать в спор. Во-первых, потому что ответят в лучшем случаем через пару недель. А во-вторых, ответ будет шаблонным, никто не подскажет, что же у вас не так.

Так что следующим шагом стала проработка самых нереальных вариантов, анализ всех действий за последние полгода-год. В этот момент команда и вспомнила про сетку с iframe. Но поверить в это было сложно, потому что все возможные варианты касания GoogleBot`а с контентом были закрыты. Отображаемый сайт лежал в JS, а JS был закрыт всеми возможными путями, в т.ч. и в robots , и в .htaccess.

Это было реально только:

  • если гуглбот действительно научился читать JavaScript (потому как ранее этот факт имел только мифические подтверждения и, кроме заявления представителей Google, фактически все эксперименты доказывали, что JS GoogleBot не читает или же если и читает, то не корректно);
  • если GoogleBot действительно считает robots.txt рекомендациями, а не обязательными указаниями. (Фактические подтверждения этому были, но на практике это были чаще исключения, чем правила).

В Справке Google, уже давно было описано, что «инструкции robots.txt носят рекомендательный характер».

Как загнать сайт под фильтр без ПФ и ссылочного

То есть JS, который был закрыт и в robots, и в .htaccess, и вообще везде, все равно был прочитан. Была сделана сетка на 250 сайтов, на каждом из которых было примерно по 30 000 страниц. Каждая страница отображала в iframe главную страницу основного домена, куда должен был сливаться трафик. В результате, когда GoogleBot пришел, он увидел это. Но ему дали рекомендацию не индексировать содержание iframe, поэтому контент он увидел, но в индекс не добавил.

То есть Дмитрий получил фильтр за дублирование своего же контента, который фактически не находится в индексе.

Что можно предположить, зная это?

Получается, если не знать о существовании сетки, было бы просто невозможно предположить, какой именно контент дублируется, потому что в индексе дублей сайта найти невозможно.

Как только убрали iframe и отправили запрос на повторную проверку, фильтр ушел:

Как загнать сайт под фильтр без ПФ и ссылочного

Чтобы убедиться, что это не ошибка и не случайность, команда Дмитрия провела эксперимент.

Чтобы обеспечить чистоту выборки, были выбраны сразу два домена, которые лежали в личной сетке, и результат повторился. Наложили санкции – пришло письмо от Google –убрали iframe – запрос на проверку – через 10–14 дней вышли из-под фильтра.

Что удивительно, в момент бана основного домена вся сетка продолжала находиться в индексе и приносила трафик.

Вся разница между исходным кодом сайта, который видит Google и который видит человек, в элементе div id=”preloader”. Если на сайт заходит человек, а не бот, JS-обходчик видит это, запускается функция div id=”preloader” и загружается переменная U. В следующем JS – JQuerry – в самом низу кода лежит продолжение с переменной U. Именно этой переменной U присваивается загрузка страницы, которую нужно показывать человеку. Чисто технически это все. Этим и отличается основной домен, который видит Google, от дорвея. По сути, исходный код не меняется, не используются «сильно палевные» теги.

image18.gif

Исходный код дорвея, который видит бот

Исходный код с iframe

Механика исполнения:

  1. Происходит загрузка сайта.
  2. В этот момент обходчик определяет, кто пришел – бот или человек.
  3. Если бот, то JS не загружается и элемент div id="preloader" остается пустым.
  4. Если это реальный пользователь, то происходит обращение JS и происходит загрузка функции div id="preloader" в исходном коде.
  5. При загрузке div id="preloader" происходит следующее: «Основа js»: $( document ).ready(function() {$('#preloader').load(u)}).
  6. Вторая часть – подключается в другом месте. Т.е. после того как HTML загружен в div id="preloader" загрузить HTML, который указан в переменной "u".
  7. var u = "/wp-admin/{{theme_name}}/edit.php{% if query is not empty %}?query={{query}}{% endif %}";var style = "";var utm = "";var prc = "";.

Как от этого защититься?

  1. Всеми возможными способами запретить выкачивать свой сайт (насколько это будет возможно).
  2. Запретить отображать сайт через iframe.
  3. Отслеживать автоматом уникальность контента и автоматически отправлять жалобы DMCA (англ. Digital Millennium Copyright Act  Закон об авторском праве в цифровую эпоху).
  4. Обращать внимание на скачки трафика и изменение конверсий (сайт могут клоачить, используя IP сайта).

Как запретить отображать сайт через iframe:

  1. Запрет iframe через JavaScript
  2. Запрет iframe через заголовок X-Frame-Options

Подробнее о том, как это сделать.

Дмитрий Петренко заметил, что одной из самых больших глупостей было то, что они решили отображать основной продвигаемый в ТОП сайт на дорвеях.
Ошибка была сделана на самом старте. Надо было просто положить его на отдельный домен, закрыть от индексации и начать показывать как отдельный сайт. Даже если бы туда прилетел фильтр, это не стало бы такой катастрофой. 

Еще больше классных обзоров читайте здесь.

(Голосов: 2, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Иван Чумаченко
    1
    комментарий
    0
    читателей
    Иван Чумаченко
    6 месяцев назад
    Отличный кейс! Как загнать сайт под фильтр? Просто отдать его в продвижение Пете и все готово))
    -
    2
    +
    Ответить
  • Roman Lazurenko
    1
    комментарий
    0
    читателей
    Roman Lazurenko
    6 месяцев назад
    И самый главнй вопрос, как определяли, где бот, а где человек зашел?
    -
    3
    +
    Ответить
  • Андрей Афанасьев
    1
    комментарий
    0
    читателей
    Андрей Афанасьев
    6 месяцев назад
    Дима, очень норм. Спасибо за контент!
    -
    1
    +
    Ответить
  • Гость
    1
    комментарий
    0
    читателей
    Гость
    6 месяцев назад
    *** , видно что автор полное дно, работает в seo максимум год-два
    -
    13
    +
    Ответить
    • Гость
      1
      комментарий
      0
      читателей
      Гость
      Гость
      6 месяцев назад
      Какой там год) судя по этому "кейсу", чувак либо вообще не в теме, либо это делал кто то вместо него, но делал очень коряво
      -
      0
      +
      Ответить
  • Владислав Боровков
    1
    комментарий
    0
    читателей
    Владислав Боровков
    6 месяцев назад
    Если кратко - не понравилось.
    -
    5
    +
    Ответить
  • Denis Povaga
    2
    комментария
    0
    читателей
    Denis Povaga
    6 месяцев назад
    Интересно интересно
    -
    -4
    +
    Ответить
  • Максим Мельник
    4
    комментария
    0
    читателей
    Максим Мельник
    6 месяцев назад
    Кейс очень интересный. Спасибо.
    Мораль такова - нефиг обманывать Google.
    -
    1
    +
    Ответить
    • Dmitry Petrenko
      1
      комментарий
      0
      читателей
      Мораль в том, что если мы это смогли сделать сами со своим сайтом + еще с 2мя проектами, то такой же эксперимент может получиться и кого-то еще, и не обязательно над своими проектами.... Поэтому нужно защищаться!
      -
      2
      +
      Ответить
      • Александр Мурзаев
        1
        комментарий
        0
        читателей
        простите за дурацкий вопрос, но как тут защититься?
        -
        -3
        +
        Ответить
        • Aleksei Novikov
          1
          комментарий
          0
          читателей
          Прочитать статью до конца, там будут перечислены меры, включая запрет отображения сайта в iframe.
          -
          3
          +
          Ответить
          • Антон Зозуля
            1
            комментарий
            0
            читателей
            Антон Зозуля
            Aleksei Novikov
            6 месяцев назад
            Про парсеры не забудьте ;) Которые сделают ту же копию.
            И расскажите ваши выводы ТОП-магазинам, которые и так выводят в iFrame десятки сателлитов...
            Canonical на себя решает проблему с iFrame.
            Порадовало в 2018 году открытие, что Гугл индексирует JS, от SEO-шника с ниши эссеек, надеюсь, не Дмитрия...

            А по теме: не палите сетки и будет вам счастье. Бан то, почти наверняка, ручной. Никого вы этим не сольете. Хотя не, слить можно, но это совсем другая история, ...
            Про парсеры не забудьте ;) Которые сделают ту же копию.
            И расскажите ваши выводы ТОП-магазинам, которые и так выводят в iFrame десятки сателлитов...
            Canonical на себя решает проблему с iFrame.
            Порадовало в 2018 году открытие, что Гугл индексирует JS, от SEO-шника с ниши эссеек, надеюсь, не Дмитрия...

            А по теме: не палите сетки и будет вам счастье. Бан то, почти наверняка, ручной. Никого вы этим не сольете. Хотя не, слить можно, но это совсем другая история, и требует немного магии.
            -
            11
            +
            Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Сколько ссылок помогут продвинуть молодой сайт
Павел Андрейчук
41
комментарий
0
читателей
Полный профиль
Павел Андрейчук - Дело в том, что вряд ли в ваших платных "качественных" кейсах найдётся хоть пару % действительно новой и полезной информации которой бы не было на общедоступных источниках.
Google Data Studio: делаем красивые отчеты по контекстной рекламе для клиентов
Никита Кудрин
1
комментарий
0
читателей
Полный профиль
Никита Кудрин - Все понимаю, кроме того как сделать что бы наименования показателей и параметров не менялись на англоязычные при выборе источника.
Сайт на WordPress: за и против
Мира Смурков
1
комментарий
0
читателей
Полный профиль
Мира Смурков - Людмила, я согласен с большинством комментаторов. Вы хоть один полноценный магазин сделали на этих движках? Woocommerce это система с супер возможностями. И к ней есть дополнительные модули, с функционалом, который вряд ли появиться на Битрикс. А самому это программировать - сотни тысяч рублей на разработку. А приведя в пример сложности с robots.txt и Sitemap вы ставите под вопрос вашу компетенцию в понимании Интернет-бизнеса и веб-разработки в целом. Во-первых это такие мелочи, а во-вторых это все делается на вордпресса за 2 минуты, и опять же с возможностями многократно превышающими Битрикс.
Обзор популярных CMS: плюсы и минусы
Андрей Литвиненко
2
комментария
0
читателей
Полный профиль
Андрей Литвиненко - + там где нужно прописать каноникал, там где нужно поставить мета тег ноиндекс (т.к. Гугл не всегда следует правилам robots.txt) ну и то что выше, к техническим сео возможнлстям можно еще отнести легкое и хотя бы полуавтоматическое добавление микроразметки по сайту, увы "из коробки" такого функционала нет ни в одной cms, все на допиливаниях
Google обошел Яндекс по популярности в России в 2018 году: исследование SEO Auditor
Рамблер
1
комментарий
0
читателей
Полный профиль
Рамблер - Вот вроде отечественный - это сказано верно.. «Я́ндекс» — российская транснациональная компания, зарегистрированная в Нидерландах. Так говорится в Википедии. И с хрена ли ОТЕЧЕСТВЕННЫЙ поисковик зарегистрирован в Европе? И где платится основная часть налогов? Ну-ууу, точно не в России. И если запахнет жаренным, то был Яндекс и нет Яндекса!
8 методик в SEO, от которых давно пора отказаться
Евгений Сметанин
12
комментариев
0
читателей
Полный профиль
Евгений Сметанин - Факторов вообще очень много, согласитесь, вы будете использовать максимальное их количество, особенно, если в ТОПе засели агрегаторы с сумасшедшими ПФ. В таких случаях, вхождение ключа в домен для маленького профильного сайта, сыграет свою положительную роль. Конечно же, если контент на страницах хорошего качества. У меня есть несколько успешных кейсов на эту тему. На сайте продают несколько видов товаров, а выстреливает в ТОП тот, название которого присутствует в доменном имени. Как корабль назовешь, так он и поплывет, верно?))
Война с дубликатами. Как нужно и как не нужно канонизировать URL
Ann Yaroshenko
4
комментария
0
читателей
Полный профиль
Ann Yaroshenko - добрый день! Спасибо за ваш вопрос. Ответ зависит от тематики сайта - допустим у вас на страницах пагинации меняется только размер/цвет или другие параметры товаров - тогда лучше закрывать пагинацию в роботс. если же, например, на первой странице пользователь задал вопрос, а нужный для себя ответ находит на 2-10-20-той странце (как на форумах, например) - лучше разрешить боту сканировать контент - ведь пользователь тоже может перейти к вам на сайт потому, что видит интересный для себя ответ на 2-10-20-той странице.
Как выбрать подрядчика для продвижения сайта: 7 уровней воронки поиска
aashutosh
1
комментарий
0
читателей
Полный профиль
aashutosh - data science training institute in noida- Webtrackker Technology (8802820025) providing Data Science Training in Noida. Get ✓ 40 Hours Learning training✓ 70 Hrs Projects ✓ 24 X 7 Support ✓ Job Assistance. WEBTRACKKER TECHNOLOGY (P) LTD. C - 67, sector- 63, Noida, India. E-47 Sector 3, Noida, India. +91 - 8802820025 0120-433-0760 +91 - 8810252423 012 - 04204716 EMAIL:info@webtrackker.com webtrackker.com/Best-Data-Science-Training-Institute-in-Noida.php
Как построить качественный ссылочный профиль на основе конкурентов
Ирина
5
комментариев
0
читателей
Полный профиль
Ирина - Давно сотрудничаю с megaindex.com и считаю данный сервис одним из лучших в сео сегменте рунета да и не только рунета. Пользуюсь их инструментами для аналитики своих работ и выявлению своих и чужих ошибок. Да и ссылочный профиль, как и говорится в данной статье сделать гораздо проще и правильней при помощи как раз мегаиндекса. Добавлю еще что инструмент для поиска конкурентов у мегаиндекса очень удобный и простой в применении.
«Прямая линия»: Сергей Кокшаров ответил на вопросы пользователей
Евгений Красняк
1
комментарий
0
читателей
Полный профиль
Евгений Красняк - В плоской структуре (категории в первом уровне) нет ничего плохого. Это наоборот преимущество.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
346
Комментариев
262
Комментариев
247
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
104
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
63
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!