Выбранное решение позволило бы хранить практически любые объемы данных, а их обработка могла бы делаться значительно быстрее и эффективнее. Однако реализация такого решения оказалась крайне трудоемкой. Фактически у нашей команды ушло полтора года на реализацию системы хранения, модулей сбора и обработки данных.
Сегодня мы перешли на новую систему хранения, через которую работают не только все сервисы MegaIndex, но и наши другие проекты (serpclick.ru, pflink.ru и т.д.)
Архитектура системы выглядит следующим образом, что позволяет добавлять серверы к каждому модулю при увеличении нагрузки
Каждое сканирование результатов поиска теперь хранится на множестве серверов, что дает большие возможности по ускорению построения отчетов за счет параллельного сбора данных.
В отчете по Видимости сайтов мы сделали возможность постраничного вывода результатов, что позволяет получить значительно больше запросов для больших проектов.
Сейчас результаты ограничены 10 000 запросов из видимости, но мы планируем расширить и это ограничение:
Прежде всего новая система хранения позволит нам расширить количество регионов, по которым мы будет строить отчет по видимости сайтов. Конечно, это необходимо и для международной версии MegaIndex.com
Также в системе появится ряд дополнительных отчетов, которые будут полезны для специалистов по SEO и контекстной рекламе.
Запуск сложных систем часто бывает связан с появлением новых технических проблем. Если Вы заметите какие-либо неточности, напишите об этом в службу поддержки.
Обсуждение