Новая версия реализована на низкоуровневых языках, что позволило увеличить производительность в несколько раз.
За 5 дней индексатор уже обработал более 60% сайтов в СНГ и более 7% сайтов в мире. Для справки, мы оцениваем количество уникальных документов в СНГ в 8 млрд и в 150 млрд в мире. Обновленные или новые ссылки помечаются актуальной датой индексации в отчете по входящим ссылкам:
Заметим, что в таблице Вы видите только уникальные внешние ссылки. Для удобства анализа, все сквозные ссылки мы отображаем в таблице в виде одной строки. При этом выводится страница с минимальным уровнем вложенности, а в колонке "С других страниц" Вы увидите количество других страниц на сайте, где размещена ссылка с такие же текстом на эту же страницу.
Также, в отчете добавлена информация по общему количеству ссылающихся страниц и доменов.
Все данные по внешним ссылка можно также получить через наше API в методе получения входящих ссылок
В настоящее время, отчет по входящим ссылкам ограничен 6000 строк. Из-за этого Вы не сможете увидеть все ссылки на популярные сайты. Мы работаем над расширением этого ограничения.
Индексацию Вашего сайта роботом MegaIndex Вы можете идентифицировать по User Agent "Mozilla/5.0 (compatible; MegaIndex.ru/2.0; +https://www.megaindex.ru/?tab=linkAnalyze)"
После завершения обновления всей базы (ожидается через 7-10 дней), мы проведем обновление параметров сайтов, таких как количество внешних ссылок. Эти данные используется в сервисе анализа доноров
Наша команда также работает и над новым отчетом по входящим и исходящим ссылкам, который позволит Вам более наглядно и удобно получать всю необходимую информацию.
До конца февраля мы запланировали расширение парка серверов, что позволит индексировать весь мировой Интернет с полнотой на уровне Google в течение месяца. Следите за нашими обновлениями.
Обсуждение