Как поисковые системы "палят" сетки сайтов? Почему нельзя добавлять PBN-сайты в Search Console и Яндекс.Вебмастер?
13 августа 2020

Как поисковые системы "палят" сетки сайтов? Почему нельзя добавлять PBN-сайты в Search Console и Яндекс.Вебмастер?

Каким методом поисковые системы индексируют пользователей? Как не "спалить" PBN перед поисковой системой?

Как социальные сети вычисляют аффилированные профили?

Рассмотрим способ, о котором не догадывается большинство пользователей.

1 — Проблематика


В поисковых системах есть ручные санкции. Если на продвигаемый сайт поступают жалобы по теме размещения внешних ссылок с целью продвижения, есть риск попадания сайта под такие санкции.

Жалобы подаются через специальную форму на сайте поисковой системы.

Ссылка на форму — Paid Links.

По данной причине внешние ссылки следует скрывать от SEO сервисов.

Как скрывать? Закрывать доступ на уровне сервера. Пример скрипта — indexoid.com.

Но закрыть таким способом можно лишь ссылки с сайтов, к которым есть полный доступ.

Если конкуренты смогут выявить сетки сайтов, которые применяются для продвижения, то могут быть проблемы. После подачи претензий сайт может направиться на детальное рассмотрение.

Для многих до сих пор является непонятным как именно поисковые системы находят сетки сайтов. Как социальные сети вычисляют, что у пользователей есть множество профилей?

Рассмотрим метод, про который не знает большинство пользователей.

Canvas Fingerprint


Canvas fingerprinting является методом для отслеживания пользователей, который позволяет сайтам идентифицировать и отслеживать посетителей с помощью элемента HTML5 canvas вместо файлов cookie браузера или других подобных средств.

Как применяется на практике? Например, поисковый оптимизатор создал частную сеть сайтов для размещения ссылок с целью продвижения главного сайта. Добавлять все сайты в одну консоль напрямую, очевидно, что нельзя. Нельзя и размещать сайты на сервере в рамках общего IP.

Для отслеживания ситуации по сайтам обычно поступают по подобной схеме:

  • Регистрируется множество аккаунтов Google на разные данные;
  • Сайты добавляются в такие сервисы как Google Search Console, Google Analytics и/или иные.

Один сайт — один аккаунт в поисковом сервисе.

Достаточным ли является данное решение? На самом деле нет.

Отпечаток canvas fingerprinting быстро "спалит" всю сетку сайтов.

Как работает? Подход следующий:

  • При открытии страницы выполняется специальный код, который отрисовывает графический элемент. Процесс проходит скрыто;
  • В результате формируется значение, которое уникально для конкретного устройства;
  • Значения хешируются;
  • Значения передаются в базу данных.

Цифровой отпечаток в поисковой оптимизации сайта

Страница отправляет браузеру команду отрисовать графический некий объект, который состоит из множества элементов.

<canvas class="canvas"></canvas>

const canvas = document.querySelector('.canvas');
const ctx = canvas.getContext('2d');
// Maximize performance effect by
// changing blending/composition effect
ctx.globalCompositeOperation = 'lighter';

// Render a blue rectangle
ctx.fillStyle = "rgb(0, 0, 255)";
ctx.fillRect(25,65,100,20);

// Render a black text: "Hello, OpenGenus"
var txt = "Hello, OpenGenus";
ctx.font = "14px 'Arial'";
ctx.fillStyle = "rgb(0, 0, 0)";
ctx.fillText(txt, 25, 110);

// Render arcs: red circle & green half-circle
ctx.fillStyle = 'rgb(0,255,0)';
ctx.beginPath();
ctx.arc(50, 50, 50, 0, Math.PI*3, true);
ctx.closePath();
ctx.fill();
ctx.fillStyle = 'rgb(255,0,0)';
ctx.beginPath();
ctx.arc(100, 50, 50, 0, Math.PI*2, true);
ctx.closePath();
ctx.fill();

Функция Canvas API под названием toDataURL() возвращает URI с данными, которые соответствуют результату:

console.log(canvas.toDataURL());
/*
Ouputs something like:
"data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAUAAAAFCAYAAACNby
mblAAAWDElEQVQImWNgoBMAAABpAAFEI8ARexAAAElFTkSuQmCC"
*/

Результат хэшируется и затем используется вместе с другими битами данных, которые составляют уникальный отпечаток.

Метод позволяет поисковой системе индексировать пользователей.

Отслеживание через canvas fingerprinting используют и известные социальные сети.

Проверка


Как проверить действительно ли у браузера уникальный отпечаток? Например, через специальный сервис. Тест бесплатный.

Ссылка на проверку — Canvas Test.

Пример:

Canvas Fingerprint тестирование

Если поисковый оптимизатор собирается действовать выходя за рамки платформы, то следует уберечься от отслеживания.

Данный способ деанонимизации является лишь частью от общей системы. Поисковая система получает разные данные, которые называются отпечатками устройств:

  • Данные об интернет соединении;
  • Перечень шрифтов;
  • Разрешение экрана.

Достаточно зайти на разные аккаунты с одного устройства — сетка спалена.

Как поисковые системы выявляют аффилированные сайты

Решение


Что делать? Решение заключается в уникализации отпечатков для каждого аккаунта.

Существуют ли способы для защиты от деанонимизации? Да, к примеру:

  • Использовать разные ноутбуки для входа в аккаунт;
  • Платные сервисы;
  • Браузер Brave, включить опция генерации случайных отпечатков;
  • Работать с самыми распространенными моделями устройств.

Так решается проблема с отпечатками браузера и устройства. Подключение к интернету рандомизируется при помощи прокси.

Такие браузеры как Тор блокируют возможность использовать canvas, что не является решением. Отпечаток лучше использовать, но с применением рандомизации.

Отпечаток Canvas в TorBrowser

Еще canvas fingerprint подделывается с помощью наложения шума. Пример бесплатного расширения для Chrome — Рандомизация Canvas.

Внешний ссылочный профиль сайта входит в список наиболее значимых сигналов ранжирования. Создание сателлитов является эффективным способом оптимизации ссылочных факторов. Бан сетки сайтов приводит к снижению позиций в выдаче.

Кстати на MegaIndex есть бесплатный сервис для поиска и анализа как освобождающихся, так и свободных доменных имен.

Схема действий:

  • Использовать поиск по ключевой фразе в названии доменного имени;
  • Анализировать метрики ссылочного профиля. В результате найти свободные и тематические авторитетные доменные имена;
  • Зарегистрировать доменные имена;
  • Создать сайты, разместив с сайтов ссылки на продвигаемый сайт;
  • Проиндексировать страницы с размещенными ссылками;
  • Анализировать позиции сайта.

Поиск освобождающихся доменов

Ссылка на сервис — Поиск доменов.

Рекомендованные материалы в блоге MegaIndex на тему создания сайтов сателлитов по ссылкам:




Выводы

Оптимизация ссылочного профиля является обязательной. Ссылки входят в список наиболее значимых факторов ранжирования. Сетки сайтов является наиболее оптимальным решением. Часто оптимизаторы задают вопросы о том, как не спалить сеть сайтов.

Сетки следует скрывать через запрет доступа для сервисов на уровне сервера, а также следует замести следы по цифровым отпечаткам.

Поисковые системы выявляют сетки сайтов разными способами. Среди прочих решений применяются различные методы по деанонимизации пользователя.

Способ с Canvas Fingerprint используется набор битов с большим весом, из которых состоит весь цифровой отпечаток.

Слышали про такое раньше? Есть вопросы? Мнения? Напишите в комментариях.

Обсуждение

1anri
14:40 13 августа 2020
А если у меня по результатам теста браузера Все Красные крестики, что это означает?
Дмитрий Угниченко
16:10 13 августа 2020
Результат означает, что браузер абсолютно никак не защищен от отслеживания.
nastivor
21:41 13 августа 2020
Спасибо за интересную статью и ссылки на нужные сервисы. Про отслеживание по canvas знаю давно, но в отношении PBN как-то не задумывался.
У меня вопрос по заголовку: ".... Почему нельзя добавлять PBN-сайты в Search Console и Яндекс.Вебмастер?" Насколько я понял, в поисковые вм консоли добавлять сетки сайтов нужно, но осторожно. Или всё-таки нельзя?
Дмитрий Угниченко
10:36 14 августа 2020
Если соблюдать правила по скрытию отпечатков, то добавлять имеет смысл.
demimurych
11:26 14 августа 2020
Не морочьте людям это.
Никакие канвас фингер принты нигде не используются.
По причине их абсолютной бесполезности на фоне существующих способов позволяющих решать поставленную задачу.
  
  
По той же причине, по которой они не догадываются о том что такое квантовая запутанность - это их не касается и не коснется никогда.
>Для многих до сих пор является непонятным как именно поисковые системы находят сетки сайтов. Как социальные сети вычисляют, что у пользователей есть множество профилей?
Google использует один единственный алгоритм детектирования аномалий, которого более чем достаточно для решения задачи - пересечение аудиторий проектов. Проще говоря рассчитывается степень энтропии по группам посетителей посещающих тестируемые ресурсы. Как только какая то группа демонстрирует энтропию отличную от детерминированной - проект попадает в группу подозрительных и проверяется в ручную. При 75% рынка браузеров, у Google сейчас статистики более чем достаточно чтобы уверенно делать выводы.
  
Пр още говоря, у Google нет никакой необходимости в использовании какого либо иного метода для выявления pbn, по причине того, что если кто-то принимает меры против обнаружения по способу описанному выше, то все прочие МЕГА МЕТОДЫ отсекаются автоматически.
  
bairakalexandr
13:57 14 августа 2020
Доброго времени суток, я так понял у вас есть некий опыт в построении PBN. Скажите пожалуйста я добавил всю сетку в один аккаунт гугл, все сайты ссылаются на мой основной(расположен на другом акке google). Спустя 4 мес получил топ. Почему все пишут такие садо мазо темы, по скрытию сетки PBN?
3dnewsmarketing
15:06 17 августа 2020
Уважаемый комментатор, автор пишет все логично, а у вас алогичный текст с использованием заумных слов.
Дмитрий Угниченко
15:46 17 августа 2020
Спасибо за комментарий, но не вводите людей в заблуждение утвердительными формулировками. Используются даже в явном виде на множестве сайтов. Данная информация поддается проверке.
Дмитрий Угниченко
15:50 17 августа 2020
1. Откуда вывод, что поисковые оптимизаторы используют только Chrome?
2. Проверка Canvas - составная часть комплексной проверки.
3. Арбитражники были бы крайне счастливы, если бы вы были правы, но таки нет.
demimurych
11:28 14 августа 2020
СУТЬ МЕТОДА:
Суть метода в следующем: от железки к железке, одна и та-же команда для рисования примитивов на плоскости, делает это с разной точностью. В результате чего, условный треугольник, нарисованный с одними и теми же координатами, но на разных железках, будет идентичным для глаза, но отличаться на уровне кода. То есть на одной машине в одном браузере он будет идентичен, но _возможно_ будет отличаться от того же треугольника нарисованного на другой.
  
Уровень энтропии таких данных не превышает 5 бит. То есть условно 256 человек будут идентифицированы как 32 ра зных группы. В реальных условиях энтропия еще меньше. Если говорить еще проще, то скажем все пользователи MacBook Air 2016 года будут идентифицированы одинаково. то есть как один человек.

    
ИСТОРИЯ ПОЯВЛЕНИЯ
я как человек который принимал в этом активное участие, сейчас могу рассказать как это вошло в жизнь.
 В 12 году, два кулХацкера опубликовали статью с материалом который был протухшим уже на то время. Материал б ыл о том, что один и тот же шейп отмапленный на канвас на разных железках имеет разный код.
  
Подано это было под соусом, смотрите мы все умрем.
Люди которые имели отношение к информационной безопасности поржали и пошли дальше, потому как информация о том, что железка в зависимости от производителя при работе с той или иной функцией может выдавать разную точность была известна с момента появления микросхем. И людей в этой области интересует не сам по себе этот факт, но то с какой точностью это происходит.
  
Тем не менее хайп поднятый вокруг темы оказался настолько большим, что на это срефлексировали эффектные манагеры пиара своих браузеров, сообщив кажется в 15 году, что теперь их браузеры не подвержены этой мега уязвимости.
  
  
ВЫВОДЫ
SEO мифология, обрела для себя новый миф, который будет процветать и пахнуть на фоне специфики профессии.
Unlimited Platon
17:50 17 августа 2020
Поставил Tor, убедился что действительно CANVAS проверяется на многих сайтах. Автор прав. А вы - очередной эксперд.
bairakalexandr
13:48 14 августа 2020
Как помне вы бредите))) у меня вся сетка на одном аккаунте в гугле вся сетка перелинкована, и сайты в топе. Сетка не скрыта от сайтов анализаторов.
Дмитрий Угниченко
14:41 17 августа 2020
Напишите перечень сайтов из своей сетки, проверим?
7977501
20:44 19 августа 2020
Мляя, все кто тут написал спалились!...
Для добавления комментария, пожалуйста, авторизуйтесь