Блог MegaIndex

Мы в очередной раз обновили базу запросов, которая используется для подбора семантики и кластеризации. В этот раз нам удалось практически полностью избавиться от перестановок слов в запросе. Например, для запросов "грузовые перевозки" и "перевозки грузовые", последнее практически на запрашивается в поисковых системах.



Мы анализируем качества подбора запросов по двум основным параметрам:
— полнота
— отсутствие мусорных запросов

У нас появилось новое приложение для анализа релевантности текста на продвигаемых страницах.



Видео о работе приложения по анализу релевантности текстов:



Новый инструмент отличается от массы уже существующих анализаторов двумя основными технологическими подходами:

1. Сравнение контента Вашей страницы и страниц, которые уже ранжируются в ТОПе по данному запросу
2. Анализ документа по метрике TF*IDF (подробнее о метрике в Wikipedia)

Метрика TF*IDF уже давно является основой определения текстовой релевантности в поисковых системах. Для её подсчета сначала необходимо определить IDF для каждого слова.

IDF (inverse document frequency) — инверсия частоты, с которой определенное слово встречается в большой коллекции документов. В нашем случае эта коллекция состоит из всех страниц, которые обрабатывает наш индексатор. Например, если в коллекции 500 млрд документов, а слово "перевозки" встречается в 5 млрд документов, то значение IDF = log (500 млрд / 5 млрд) = log (100) = 2 (В нашем случае мы берем основание логорифма равное 10)

Теперь наш сервис подбора и кластеризации запросов может подобрать семантику в реальном времени с объемом до 100 000 запросов.

Прошлое ограничение было на уровне 1000 запросов, таким образом мы расширили объемы данных сразу в 100 раз. Хотя подавляющему большинству сайтов вполне достаточно 10 000 поисковых запросов для составления эффективного семантического ядра.

Рассмотрим, на сколько это может быть полезно на реальных кейсах.

1. Подбор семантики по 15 конкурентам из категории "пластиковые окна", где по запросу находятся хотя бы 3 из них:

В конце декабря мы запустили сервис кластеризации запросов в тестовом режиме, о чем писали на нашем блоге

На текущий момент мы обновили ядро запросов, которое используется для подбора семантики и кластеризации. Общее количество запросов было увеличено в 4 раза, а более 90% мусорных запросов нам удалось исключить. Таким образом, качество базы было значительно улучшено, хотя ешё остается поле для дальнейшей работы. Новая семантика доступна для подбора запросов и кластеризации только по поиску Яндекс Москва.

Перейти к подбору запросов и кластеризации — https://ru.megaindex.com/a/keywords

Рассмотрим инструментарий, который позволяет максимально упростить задачу ручного линкбилдинга на примере нашего нового проекта megaindex.com

Два дня назад, я писал о том, что наш продукт по анализу внешних ссылок начал превосходить по полноте все известные нам сервисы. Теперь пришло время заняться продвижением его на глобальном рынке. Рассмотрим, как можно решить задачу линкбилдинга на примере нашего же проекта.

Нам необходимо получить ссылки с тех же сайтов, что и наши основные конкуренты. Эту задачу отлично решает инструмент, который как раз позволяет получить список популярных доноров по заданным сайтам.

Пример его работы: https://ru.megaindex.com/donors?domain=megaindex.com&comps%5B%5D=ahrefs.com&comps%5B%5D=majestic.com&comps%5B%5D=semrush.com&comps%5B%5D=moz.com

Сервис отсортировал популярных доноров по числу пересечений, т.е. сверху мы получили список сайтов, которые ссылаются на всех наших конкурентов. Потенциально, ссылки с таких сайтов будут наиболее близкими по тематике, естественными и просты для получения (раз уж все конкуренты смогли это сделать).

Кроме того, найденные сайты сразу отсортированы по Domain Rank, что позволяет начать работу с самых цитируемых доноров.

Итак, список сформирован:

Мы решили сравнить полноту индексов внешних ссылок в MegaIndex.com и других популярных инструментов: ahrefs.com, majestic.com, semrush.com

Для теста были выбраны случайные тестовые сайты из России и за её пределами.

Каждый может провести это сравнение, если выберет любой случайный домен и сделает запросы на этих сервисах:
— https://ru.megaindex.com/backlinks/example.com
— https://ahrefs.com/site-explorer/overview/v2/prefix/fresh?target=example.com
— https://majestic.com/reports/site-explorer?folder=&q=example.com&IndexDataSource=F
— https://ru.semrush.com/info/example.com+(backlinks_overview)

Мы создаем клуб Интернет-бизнес школы, в рамках которого еженедельно будут проходить мероприятия, посвященные разборам актуальных тем по поисковой оптимизации и Интернет-маркетингу.



Первое мероприятие состоится уже в эту субботу в Москве с 13:00 до 16:00 по адресу: Кутузовский проспект, 34с14 (Московский институт психоанализа, аудитория 325в)
Для тех, кто не сможет присоединиться лично, будет организована онлайн трансляция на сайте ibschool.ru

Мы подготовили записи трех частей SEO-итогов года с Артуром Латыповым, Дмитрием Севальневым, Николаем Хивриным и Юрием Копыловым:
Часть 1 с Артуром Латыповым и Дмитрием Севальневым
Часть 2 с Артуром Латыповым и Дмитрием Севальневым
Часть 3 с Николаем Хивриным и Юрием Копыловым

В MegaIndex.com мы начали тестирование нового приложения, которое позволяет все за несколько секунд подобрать семантику для сайта и выполнить её кластеризацию.

https://ru.megaindex.com/a/keywords

Приложение работает в несколько этапов:

Этап 1. Поиск основных конкурентов

На этом этапе мы анализируем видимость Вашего сайта по запросам в поисковых системах Яндекс и Google, и выбираем список основных конкурентов, которые максимально плотно пересекаются с Вашим сайтом в результатах поиска.

К недостатком такого подхода поиска конкурентов можно отнести следующие:
1. Крупные информационные порталы часто ранжируются по Вашим запросам. (Мы решили эту проблему, внеся в алгоритм понижающий коэффициент для сайтов конкурентов, которые имеют в доле пересечения совсем небольшой относительный объем запросов. Таким образом, можно исключить сайта типа ru.wikipedia.org или avito.ru)

2. Если Ваш сайт ещё не ранжируется в поисковых системах, то список конкурентов можно задать самостоятельно или определить его по одному из Ваших основных конкурентов.

По обновили отчет по исходящим ссылкам. Теперь он включает список удаленных ссылок с датой удаления и график с динамикой числа уникальных ссылок и ссылок на уникальные домены.

Пример отчета для ozon.ru: https://ru.megaindex.com/outlinks/ozon.ru



Данные из этого отчета можно получить и по API:
1. Список ссылок — метод outlinks
2. Динамика изменения числа ссылок — метод outlinks/total

Текст доклада Николая Хиврина с конференции Оптимизация 2015.



За последнее время в поисковом продвижении становится все больше различных каналов, которые необходимо учитывать и организовывать работу с ними. Как правило, удобно выделять не только поисковые системы, но и различные поиски, через которые пользователь может добраться до целевого сайта.

Множество поисков, а не поисковых систем

Разделение поисков можно сделать в несколько этапов:
1. Поисковая система
2. Регион
3. Тип поиска (органическая выдача, контекстная реклама, различные вертикальные поиски)
4. Платформа (ПК, смартфон)

Таким образом, только для одного региона может существовать множество поисков, например только для Москвы:
— Google — Москва — Органика – ПК
— Google — Москва – Контекстная реклама – ПК
— Google — Москва – Адреса – ПК
— Google — Москва – Органика – Смартфоны
— Google — Москва – Контекстная реклама – Смартфоны
— Yandex …
— и т.д.

Для каждого из поисков методики работы могут значительно отличаться, так как в сниппет попадают различные объемы информации в различных формах: заголовки, картинки, контакты, описания, дополнительные ссылки и т.д… Факторы ранжирования также могут быть различными.
Кроме того, в последнее время поиск начинает зависеть от конкретного местоположения пользователя и истории его предыдущих запросов:

Мы обновили рейтинг видимости. Теперь он считается по всем городам миллионникам.
Период обновления рейтинга составляет теперь ровно один месяц, а полнота семантики значительно расширилась.

В предыдущей версии рейтинга Вы могли заметить нестабильную оценку различных сайтов в следствие плавающего семантического ядра в системе. Теперь такой проблемы больше нет.

Как и раньше, Вы можете наблюдать за динамикой видимости сайтов в определенной тематике и определенном поиске: