Эффективные способы защиты от парсинга сайта

Новый эффективный способ защиты от парсинга сайта

• 0.9. Означает, что клиент с высокой вероятностью является пользователем. При таких значениях никаких дополнительных проверок и ограничений на использование сайта создавать не следует;
• 0.3. Означает, что клиент скорее пользователь, нежели робот. Для клиентов с такими значениями имеет смысл иногда проводить дополнительную проверку. Например, проверку можно проводить во время подозрительной активности или при пиковой нагрузке на сервер сайта;
• 0.1. Означает, что клиент скорее робот, нежели пользователь.

• При 0.9 никаких дополнительных проверок проводить не следует;
• При 0.3 проводить проверки иногда;
• При 0.1 проводить проверки, например с использованием текстовой капчи.

Еще один способ по защите от парсинга сайта — Ловушка для ботов

Анализ свойств IP-адреса

• Парсинг сайта;
• Увеличение нагрузки на сайт, которое превышает пропускную способность канала, что приводит к проблемам с загрузкой сайта;
• DDoS атака на сайт.

• Закрыть доступ к сайту для черных роботов;
• И оставить открытым доступ к сайту для белых роботов. К белым роботам могут относиться краулеры разных поисковых систем и социальных сетей.

• Белые роботы. В список должны попасть действительно белые роботы и роботы, которые с высокой вероятностью являются такими;
• Черные роботы.

Сервисы для защиты от парсинга сайтов

• Как построить частную сеть сайтов для SEO. PBN сайты в поисковой оптимизации;
• Чем чаще домен освобождался и менялся его владелец, тем хуже работают ссылки с него — верно ли утверждение;
• Будет ли ссылка передавать вес, если на сайте нет трафика;
• Обнуляется ли вес ссылочного профиля домена спустя год после освобождения;
• Нужно ли ждать перед тем, как размещать исходящие ссылки с PBN сайтов и сателлитов;
• Правила линкбилдинга. Секреты линкбилдинга.

Вопросы и ответы

Что такое парсинг сайта?

Как закрыть сайт от парсинга сервисами

Options FollowSymLinks ExecCGI
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^[^4]* /404 [L,S=4000]

	RewriteEngine on
	RewriteCond %{HTTP_USER_AGENT} ".*AhrefsBot.*" [OR]
	RewriteCond %{HTTP_USER_AGENT} ".*MJ12bot.*" [OR]
	RewriteCond %{HTTP_USER_AGENT} ".*rogerBot.*" [OR]
	RewriteCond %{HTTP_USER_AGENT} ".*MegaIndex\.ru/2\.0.*" [OR]
	RewriteCond %{HTTP_USER_AGENT} ".*YandexBot.*" [OR]
	RewriteCond %{HTTP_USER_AGENT} ".*ia_archiver.*" [OR]
	RewriteCond %{HTTP_USER_AGENT} ".*bingbot.*" [OR]
	RewriteCond %{HTTP_USER_AGENT} ".*Baiduspider.*" [OR]
	RewriteCond %{HTTP_USER_AGENT} ".*archive\.org_bot.*" [OR]
	RewriteCond %{HTTP_USER_AGENT} ".*BLEXBot.*" [OR]
	RewriteCond %{HTTP_USER_AGENT} ".*LinkpadBot.*" [OR]
	RewriteCond %{HTTP_USER_AGENT} ".*spbot.*" [OR]
	RewriteCond %{HTTP_USER_AGENT} ".*Serpstatbot.*"
	RewriteRule ".*" "-" [F]

Для каких целей применяется парсинг сайтов?

• Копирование статей для размещения на конкурентных сайтах;
• Копирование отзывов;
• Анализ данных;
• Мониторинг цен;
• Сравнение цен;
• Агрегация данных для создания каталогов;
• Анализ изменений на сайте;
• Управление онлайн-репутацией в интернете;
• Копирование части содержания, например титров;
• Мониторинг новостных потоков;
• Копирование данных о прогнозе погоды;
• Прочее.

Законно ли использовать парсинг сайтов?

• Закон об авторском праве (Copyright infringement);
• Закон о компьютерном мошенничестве и злоупотреблениях (CFAA);
• Использования защиты на движимое имущество, так называемый Trespass to chattels.

Какие еще есть способы защиты от парсинга?

• Блокировка IP-адреса по списку или на основе таких критериев, как геолокация и/или черного списка DNS. Это также заблокирует весь просмотр с этого адреса;
• Блокировка по значению, указанному в строке user agent;
• Блокировка по значению, указанному в PTR записи;
• Парсеры могут быть заблокированы путем анализа клиента на получение избыточного трафика;
• Использование файла robots;
• Система анализа поведения пользователя для вычисления роботов с использованием таких данных: движение курсора, координаты нажатия на кнопки и прочее;
• Обфусцирование стилей;
• Динамическое изменение имен классов и кода сайта, без изменения результата для пользователя. Например, изменение стилей и верстки страницы.

• Сервер сайта устанавливает соединение с DNSBL;
• Система проверяет наличие в базе IP-адреса клиента, от которого пришел запрос на сайт;
• При положительном ответе считается, что происходит попытка парсинга или DDoS;
• Сервер отправителя получает ошибку 500, то есть отказ на запрашиваемые данные.

Выводы

• Если речь про сервисы и облачные решения, то парсеры могут копировать данные с сайта и предоставлять их пользователям от имени иного бренда;
• Если речь про сайт информационного плана, то весь скопированный и размещенный в сети контент может быть проиндексирован поисковыми системами. В результате оригинальный источник будет терять трафик.

• Идентифицируйте роботов на основе данных о трафике, к примеру используя Google reCAPTCHA;
• Создайте белый и черный списки роботов;
• Настройте систему анализа и блокировки роботов.

• Защита от парсинга сайта;
• Снижение нагрузки на сервер сайта. Увеличение скорости загрузки страниц;
• Защита от спама, который роботы создают для усложнения выполнения работ по аналитике;
• Блокировка спама в комментариях;
• Защита от анализа сайта злоумышленниками с использованием роботов;
• Защита от подбора паролей;
• Защита от сервисов конкурентной разведки;
• Защита от анализа сайта роботами на предмет возможности XSS и SQL инъекций.

• Как удалить страницы конкурентов из поисковой выдачи, если на них размещен скопированный контент? Что такое DMCA?;
• Как извлечь пользу, если контент скопировали? Как защитить контент от копирования на уровне сервера?