Если сайт не отвечает на запросы, то страницы удаляются из поисковой выдачи автоматически.
Как сделать так, чтобы страницы не были удалены? Как сохранить позиции сайта?
Разберемся с такими вопросами далее:
- По каким причинам сайт может перестать отвечать;
- Что будет с позициями в поисковой выдаче, если сайт перестал отвечать;
- Как не потерять позиции в поисковой выдаче? Решение по SEO.
1 — По каким причинам может перестать отвечать на запросы?
Причины бывают самые разные. Например:
- Выполнение атаки на сайт по заказу конкурентов по бизнесу;
- Проблемы с хостингом;
- Технические проблемы с сайтом.
Проблемы с хостингом
Технические трудности встречаются часто. Проблема ближе, нежели представляется. Так в 2021 году сгорел дата-центр крупнейшего в Европе провайдера услуг по хостингу. В результате только в Украине проблема задела 10% от всех сайтов в зоне UA.
Провайдер перенес данные клиентов в облако в самом прямом смысле.
Что делать в таком случае? Надо восстанавливать сайт из сохраненных резервных копий или, если никаких копий нет, то восстанавливать сайт из архива. Пример сайта — indexoid.com. Альтернативный вариант заключается в разработке нового сайта. Но любой процесс восстановления требует затрат.
Атака со стороны конкурентов
Наиболее расхожей причиной отказа сайта является атака по заказу конкурентов. Суть атаки заключается в направлении на сайт большого количества спамных запросов. Если сайт находится на обычном хостинге, то проблем не миновать. В большинстве случаев провайдер хостинга не поможет в решении проблем.
Цель — сделать сайт недоступным. Оплату злоумышленники берут за время атаки. DDoS-оператор не заботится о каком-либо конкретном результате, заказчик фактически делает предоплату за начало атаки. Такие методы достаточно дешевы. Расценки в прайсах от $5 за час, за сайт с защитой — от $400 в сутки, а стоимость индивидуальных заказов на крупные компании доходит до нескольких тысяч долларов.
Практически любой сайт малого и среднего бизнеса находится в зоне риска.
Атаки на сайт достаточно расхожее явление в интернете. По данным GlobalDots в интернете 20.4% трафика генерируется черными ботами, что больше, нежели белыми ботами, включая поисковые системы.
В результате атаки урон наносится как по бизнесу, так и по позициям сайта в поисковых системах.
Какие могут быть последствия для сайта в части SEO? Разберемся с вопросом далее.
2 — Что будет с позициями в поисковой выдаче, если сайт перестал отвечать?
Если сайт перестал быть доступным для поискового робота, то страницы подлежат удалению из поисковой выдачи.
Так конкуренты могут продвигать собственный сайт за счет понижения сайтов, которые находятся выше в поисковой выдаче.
Если не принять меры, то результат будет плачевным.
Но есть решение, которые позволяет:
- Сохранить страницы в поисковом индексе;
- Не потерять позиции в поисковой выдаче.
Что делать? Разбираемся.
3 — Как не потерять позиции в поисковой выдаче?
Для Yandex и Google рекомендации отличаются. Подход схожий, различие только в нюансах. Разберемся с каждой поисковой системой.
Решение для Яндекс
Следует настроить систему так, чтобы сервер отвечал HTTP-кодом 429. Такой ответ указывает на то, что сервер испытывает затруднения с нагрузкой.
При очередном сканировании робот Яндекса обращается к странице и проверяет код ответа. В результате установки кода:
- Страницы не будут удалены из поисковой выдачи;
- Снизится скорость обхода сайта.
429 код ответа сервера означает Слишком много запросов/Too Many Requests.
Из справочника Яндекс:
429. Слишком много запросов/Too Many Requests. Отправлено слишком много запросов за короткое время. Это может указывать, например, на попытку DDoS-атаки. Ответ может сопровождаться заголовком Retry-After, который указывает, через какое время можно повторить запрос. Яндекс не учитывает этот заголовок.
Пример:
header('HTTP/1.1 429 Too Many Requests');Яндекс не учитывает заголовок Retry-After, поэтому использовать смысла никакого нет.
Также в Яндекс можно задать скорость, с которой роботы будут загружать страницы сайта, используйте инструмент Скорость обхода сайта в Яндекс.Вебмастере.
Описание значения кода ответа на сайте инженерного совета интернета:
The 429 status code indicates that the user has sent too many requests in a given amount of time ("rate limiting").
The response representations SHOULD include details explaining the condition, and MAY include a Retry-After header indicating how long to wait before making a new request.
For example:
HTTP/1.1 429 Too Many Requests
Content-Type: text/html
Retry-After: 3600
Too Many Requests
Too Many Requests
I only allow 50 requests per hour to this Web site per
logged in user. Try again soon.
Note that this specification does not define how the origin server identifies the user, nor how it counts requests. For example, an origin server that is limiting request rates can do so based upon counts of requests on a per-resource basis, across the entire server, or even among a set of servers. Likewise, it might identify the user by its authentication credentials, or a stateful cookie.
Responses with the 429 status code MUST NOT be stored by a cache.
Решение для Google
Следует настроить систему так, чтобы сервер отвечал HTTP-кодом 503. Такой ответ указывает на то, что хост недоступен.
Для поисковой системы ошибка 503 означает, что сайт испытывает проблемы с высокой нагрузкой или сложных запросах.
Рекомендация от имени Google опубликована в Twitter.
Описание значения кода ответа на сайте инженерного совета интернета:
The 503 (Service Unavailable) status code indicates that the server is currently unable to handle the request due to a temporary overload or scheduled maintenance, which will likely be alleviated after some delay. The server MAY send a Retry-After header field (Section 7.1.3) to suggest an appropriate amount of time for the client to wait before retrying the request. Note: The existence of the 503 status code does not imply that a server has to use it when becoming overloaded. Some servers might simply refuse the connection.
Пример:
header('HTTP/1.1 503 Service Temporarily Unavailable');
header('Retry-After: Sat, 8 Oct 2011 18:27:00 GMT');Заголовок Retry-After указывает поисковому роботу на то, когда следует просканировать страницу в следующий раз.
Заявление Google:
Dear webmasters, if something goes drastically wrong with your hoster, and you can't host your website anymore, please return a "503 Service unavailable" HTTP result code. Doing so helps search engines to understand what's up — they're generally more than happy to give your site some time to catch up again.
Returning an error page with "200 OK" will result in us indexing the change of content like that (and if all of your pages return the same error page, then we may assume that these URLs are duplicates). Redirecting to a temporary page will result in that redirect being used for indexing. It's fine to show text to users on a 503 error page, or use fancy JavaScript, etc.
A simple way to handle that — if the webserver is down — is to change the site's DNS to point to a temporary server that returns the 503 for you.
Once the issue is resolved, we'll generally jump back in and crawl your site to get the indexed information updated. If you weren't able to return a 503, it'll probably take a bit of time for things to settle back down with regards to search, but it'll come back, don't worry. If you need to ramp crawling up slowly, you might also want to adjust the maximal crawl rate in Webmaster Tools (we pick up that setting about once a day).
At any rate, if your site was affected by issues like these, I hope you're able to resolve them (and the other, perhaps more important issues that often go along with disruptions like these) as soon as possible. If there's something Google can do with regards to web-search to help get your site get back on its feet, feel free to post here, in our forums, or join our office-hours hangouts.
Как проверить доступность сайта? К примеру, можно использовать сервис от MegaIndex. Стоимость 1 проверки составляет 0.01 рублей. Если сервер сайта перестанет работать, система уведомит об инциденте удобным способом.
Ссылка на сервис — Проверка доступности сайта.
Пример отчета:
Выводы
Проблемы с доступностью сайта встречаются часто. Наиболее расхожей проблемой является атака на сайт по заказу конкурентов. Цели атак:
- Удаление сайта из поисковой выдачи;
- Растрата бюджета на контекстную рекламу;
- Сбой в процессах бизнеса.
В случае проблем с доступностью следует предпринять комплекс мер, иначе результаты будут плачевными.
Что делать если сайт перестал открываться из-за технических проблем, DDoS-атаки или любых других проблем? Для всех проиндексированных страниц следует установить специальный код ответа сервера:
- 503 Service Unavailable — для Google;
- 429 Too Many Requests — для Яндекс.
Практика является подтвержденной со стороны поисковых системами. Комментарий от Яндекс:
Здравствуйте!
Действительно, при помощи кодов ответа в случае недоступности сайта можно сообщить роботу о том, что ситуация временна, и позже нужно будет вернуться к сайту для повторного посещения.
Код 503 Service Unavailable мы рекомендуем настроить при временной недоступности (технические работы, обслуживание и пр.). Код 429 Too Many Requests стоит применять, если сайт перегружен запросами.
Коды нужны для разных случаев недоступности сайта.
Ответ 503 подойдет при технических работах на сервере/хостинге/сайте. Допустим, вам меняют сервер, сайт временно отключен. Выбирайте код 503, робот при обращении к страницам поймет, что нужно вернуться позже.
Ответ 429 нужен, когда сайт подвергается повышенной нагрузке со стороны роботов или DDoS-атаке. Предположим (не хотелось бы, конечно), что сайт атакуют недоброжелатели, что замедляет его работу, и тут еще приходит наш робот и начинает обходить страницы. Во избежание отключения сайта хостингом выставьте ответ 429, робот снизит нагрузку на сайт.
H рамках недоступности страниц сказать конкретно довольно сложно, поскольку процесс полностью автоматизирован и зависит от многих факторов.
Однако отмечу, что робот периодически будет обращаться к страницам при любом коде ответа, иначе он просто не сможет узнать, что когда страницы станут доступны. При http-коде 429 он будет делать это реже, поэтому такой код позволит пережить без потерь более длительную недоступность.
После восстановление работы для проиндексированных страниц следует вернуть код ответа 200.
Неправильно:
- 404 Not Found — страницы сайта подлежат удалению из поисковой выдачи;
- 200 OK — контент подлежит переиндексации, а значит потере позиции.
Рекомендованный материал в блоге MegaIndex на тему индексации сайтов поисковыми роботами по ссылке — Индексация сайта: Все что важно знать.
Если остались вопросы по теме, напишите в комментариях.
Обсуждение
Как вариант это маршрутизивать весь трафик через сервис как cloudflare
Там можно настроить такую функцию, бесплатно
Задача поискового оптимизатора или собственника сайта - поставить и проверить задачу.
Если у вас маленький сайт и выполняете работы сами, делегируйте задачу провайдеру хостинга или сервера.
В случае проблемы на сервере OVH сделал так.
- Взял дополнительный VPS
- Передал задачу специалисту по установке CENTOS, веб-сервера и PHP
- Начал заниматься восстановлением и настроил специальный код ответа на Apache через htaccess.
Не правильно усложнять материал техническими деталями.
Намеренно максимально упрощаю текст, избегаю технических терминов, чтобы быть понятна суть.
Реализация - дело более простое.
Речь идёт про Http-заголовки.
Посмотреть какие заголовки отдает ваш сайт можно с помощью сервиса https://bertal.ru
Поднять все не удалось, получилось так - https://tehnika.ua. Но даже такой сайт остался на позициях.
Если хостинг падает, ответа вообще может не быть никакого. Поэтому да, лучше, как тут уже писали, проксировать работу сайта через Cloudflare или аналоги.