Индексатор MegaIndex
MegaIndex индексирует ссылки на сайтах во всем мире
Входящие ссылки
Владельцам сайтов
Логика работы индексатора MegaIndex поддерживает ограничения через robots.txt для "User-agent:*"
MegaIndex Crawler использует значение Crawl-delay, указанное в robot.txt. Максимальное допустимое значение составляет не более 5s.
