С момента запуска MegaIndex в 2008 году у нас постоянно увеличивалась база данных с историей результатов поиска по многим миллионам запросов. В начале 2014 года стало понятно, что выбранная архитектура хранения уже не справляется со своими задачами и мы спроектировали решение, которое может горизонтально масштабироваться до любых размеров.
Выбранное решение позволило бы хранить практически любые объемы данных, а их обработка могла бы делаться значительно быстрее и эффективнее. Однако реализация такого решения оказалась крайне трудоемкой. Фактически у нашей команды ушло полтора года на реализацию системы хранения, модулей сбора и обработки данных.
Сегодня мы перешли на новую систему хранения, через которую работают не только все сервисы MegaIndex, но и наши другие проекты (serpclick.ru, pflink.ru и т.д.)
Архитектура системы выглядит следующим образом, что позволяет добавлять серверы к каждому модулю при увеличении нагрузки