Да. Конечно. Часто блокировка ботов проводится по признаку включения JavaScript.
MegaIndex действует по понятным правилам. Относится с уважением к пожеланиям владельцев сайтов. Если на сайте есть запрет в robots.txt, роботы не выламывают двери чтобы просканировать сайт.
Если сайт является просто источником ссылок, то часто так и делают. Если сайт собирает трафик, то не надо банить.
Что имеете ввиду под поведенческими ботами? Чтобы отсечь примитивных ботов Обычно достаточно сделать проверку по признаку включения JavasScript.
Какие задачи боты выполняли? Спасибо за скриншот.
Как эффективно такие боты справляются с капчей?
Есть примеры таких сервисов накрутки?
Полный разбор по работе с ботами и как отличить бота от пользователя - тема более глобальной. Данные вопросы не рассматривались. Концептуально решение понятное, но есть нюансы.
Все страницы остались в поиске. Быстро восстановил сайты, как получилось и начал получать трафик и звонки из поисковой выдачи.
Поднять все не удалось, получилось так - https://tehnika.ua. Но даже такой сайт остался на позициях.
Технической реализацией задачи заниматься должен специалист.
Задача поискового оптимизатора или собственника сайта - поставить и проверить задачу.
Если у вас маленький сайт и выполняете работы сами, делегируйте задачу провайдеру хостинга или сервера.
В случае проблемы на сервере OVH сделал так.
- Взял дополнительный VPS
- Передал задачу специалисту по установке CENTOS, веб-сервера и PHP
- Начал заниматься восстановлением и настроил специальный код ответа на Apache через htaccess.
Не правильно усложнять материал техническими деталями.
Намеренно максимально упрощаю текст, избегаю технических терминов, чтобы быть понятна суть.
Реализация - дело более простое.