Новый индексатор внешних ссылок
25 февраля 2015
Автор: Nikolay Khivrin

Новый индексатор внешних ссылок

Несколько дней назад мы запустили новый алгоритм индексации внешних ссылок. Производительность нового решения превзошла наши ожидания. Мы почти добились математического предела производительности.

Все сайты в СНГ проиндексированы всего за 3 последних дня!



Сразу хотим ответить на очень популярный вопрос: "почему MegaIndex находит на 10-30% меньше ссылок, чем другие индексаторы (Яндекс и другие SEO-аналитические сервисы)?"

Мы анализируем полноту нашего индекса и других сервисов. Многие пользователи не замечают определенных проблем, которые не актуальны для MegaIndex:
1. Если долистать до последней страницы, реальное количество найденых ссылок будет всегда меньше, чем заявлено изначально (у нас такого явления нет)
2. Исключение страниц, где пропали ссылки, делается очень долго (из-за этого такой индекс будет всегда показывать большее ссылок, чем на самом деле)
3. Не все индексаторы нормально склеивают зеркала

Сейчас наша команда работает над отчетом по внешним ссылкам. Были добавлены такие параметры, как количество ссылающихся IP, подсетей, распределение по доменным зонам. Отображение отчета пока может давать неверные результаты для крупнейших сайтов (yandex.ru, google.com и т.п.).

Скоро мы проиндексируем весь мировой интернет.

Анализ внешних ссылок — https://www.megaindex.ru/?tab=linkAnalyze&do=linkIn
API — http://api.megaindex.ru/description/get_backlinks

Обсуждение

servir007
альтернативные способы ускорения индексации ссылок. Пингаторы и вэб- сервисы
Для добавления комментария, пожалуйста, авторизуйтесь