Автоматизация для больших проектов
27 ноября 2015
Автор: Nikolay Khivrin

Автоматизация для больших проектов

Текст доклада Николая Хиврина с конференции Оптимизация 2015.



За последнее время в поисковом продвижении становится все больше различных каналов, которые необходимо учитывать и организовывать работу с ними. Как правило, удобно выделять не только поисковые системы, но и различные поиски, через которые пользователь может добраться до целевого сайта.

Множество поисков, а не поисковых систем

Разделение поисков можно сделать в несколько этапов:
1. Поисковая система
2. Регион
3. Тип поиска (органическая выдача, контекстная реклама, различные вертикальные поиски)
4. Платформа (ПК, смартфон)

Таким образом, только для одного региона может существовать множество поисков, например только для Москвы:
— Google — Москва — Органика – ПК
— Google — Москва – Контекстная реклама – ПК
— Google — Москва – Адреса – ПК
— Google — Москва – Органика – Смартфоны
— Google — Москва – Контекстная реклама – Смартфоны
— Yandex …
— и т.д.

Для каждого из поисков методики работы могут значительно отличаться, так как в сниппет попадают различные объемы информации в различных формах: заголовки, картинки, контакты, описания, дополнительные ссылки и т.д… Факторы ранжирования также могут быть различными.
Кроме того, в последнее время поиск начинает зависеть от конкретного местоположения пользователя и истории его предыдущих запросов:



Появление новых вертикальных поисков, как показано на этом примере, также требует специальных подходов в работе. Для крупных компаний разветвленная сеть офисов, в этом случае, может давать уже значительные преимущества.

Тенденции в развитии SEO-сервисов

Если обратиться к опыту западного рынка, который, очевидно, находится в более зрелом состоянии. То можно заметить очевидный тренд в том, что сервисы с ограниченным инструментарием становятся менее востребованными.

Кроме того, для работы сервисов необходимо обрабатывать все большие объемы данных, которые необходимы для анализа видимости сайтов, ссылочного графа и т.д.

Более того, сервисы создают и собственные базы знаний, которые позволяют быстро найти ответы на популярные вопросы и максимально просто решить все стандартные задачи пользователей.

Видимость сайтов в поиске

Одним из самых популярных функционалов на сегодня является анализ видимости сайтов в результатах поиска. Такой инструментарий позволяет оценить положение сайта в различных регионах и поисках. Качество работы этого инструментария определяется:
— полнотой семантического ядра
— регулярностью сканирования поисковой выдачи
— составом сохраняемых данных
— аналитическими возможностями

Для нормального покрытия видимости в каждом отдельном поиске обычно достаточно данных по 10-20 млн популярных запросов. Список популярных запросов обычно определяется для языка или страны, а популярность в каждом отдельном регионе оценивается по относительному населению выбранной области. Определять популярность каждого запроса в определенном поиске, который работает для небольшого числа людей (до 10 млн), не имеет смысла. Это связано с очень большой погрешностью в определении частоты запросов. Если же допустить потери по определенным запросам, которые отражают специфика каждого отдельного региона, то ошибка будет менее значительной.

По составу данных имеется множество особенностей:
— домен;
— пусть внутренней страницы;
— заголовок;
— описание;
— расширенные поля сниппета.

Теперь рассмотрим аналитические возможности подобного инструментария. Основной функционал здесь нацелен на получение списка всех запросов и позиций по ним для определенного поиска. Такой отчет может содержать до нескольких сотен тысяч запросов, в случае крупного проекта.

видимость сайта

Кроме того, имеются различные расширения этого функционала, которые позволяют получить изменение позиций за заданный интервал времени.
Наиболее полезной возможностью видимости является сравнение с конкурентами. Тут можно формировать три типа отчетов:
— сайт выше конкурентов;
— сайт ниже конкурентов;
— сайт отсутствует по запросам конкурентов.

сравнение с конкурентами

Подобные отчеты позволят понять, по каким запросам необходимо проводить наиболее активную работу, а какие запросы стоит добавить для работы над продвижением.

Функционал по анализу сниппетов и объявлений в контекстной рекламе позволит направить усилия на те страницы, по которым формируются самые популярные сниппеты.



Для одной страницы могут формироваться разные сниппеты по различному списку запросов, однако, чаще всего, различных вариантов сниппетов относительно мало, что упрощает работу над ними.

Индекс внешних ссылок

Одним из самых популярных инструментариев для работы является индекс внешних ссылок. Чем проект является более крупным и сложным, тем труднее строится работа со ссылочным профилем. Нужно учитывать множество параметров и сравнивать их с конкурентами. Для подобных продуктов прежде всего важны три основные характеристики:
— полнота индекса;
— частота обновления индекса;
— возможности инструментария по анализу.

При выборе сервиса полноту индекса довольно легко сравнить, если сравнить список найденных ссылок в различных сервисах на сайт, имеющий относительно статичный ссылочный профиль.

Для оценки частоты и качества обновления индекса нужно провести анализ по сайту, на который появилось за определенное время относительно большое количество ссылок или, наоборот, значительно количество ссылок пропало.

Возможности по инструментарию должны позволять получить все необходимые параметры сразу, такие как:
— количество ссылающихся доменов;
— количество ссылающихся IP;
— количество ссылающихся подсетей;
— количество ссылающихся уникальных ссылок;
— количество ссылающихся страниц;
— совокупный вес ссылок, рассчитываемый по документированному алгоритмы;
— распределения по анкорам ссылок;
— распределения по зонам доменов;
— распределение по тематикам доноров;
— и т.д.

Детальный анализ каждого отчета и сравнение его результатов со всеми конкурентами, занимающими лидирующие позиции, позволит значительно продвинуться в создании качественного ссылочного профиля.

В некоторых продуктах можно встретить полезный инструментарий, который позволит сравнить список доноров конкурентов и определенного сайта. Выявив доноров, которые популярны среди конкурентов, можно составить план для работы по получению ссылок с этих сайтов.

сравнение внешних ссылок

Анализ контента и технологий сайта

Для глубокого внутреннего анализа сайта, необходима его полная индексация, как это делают поисковые системы. При прохождении индексатора по всем внутренним ссылкам, такие продукты собирают всю информацию о страницах:
— поиск неработающих ссылок и страниц;
— анализ кодов ответа страниц;
— сбор контента для морфологического анализа;
— анализ кода.

Для крупных сайтов может потребоваться индексация до миллиона страниц и более, что требует значительных ресурсов.

По результатам такой индексации возможно рассчитать веса страниц, которые передается по внутренним ссылкам. Также наглядно провести работу над оптимизацией сквозных ссылок и внутренней перелинковки.

Работа с семантикой

Большинство сервисов уже имеет достаточно полную базы поисковых запросов, для которых уже собрана статистика по их популярности.

Многие сервисы уже научились делать кластеризацию по тематикам и позволяют неплохо распределять большое семантическое ядро по разделам и страницам сайта.

Семантика крупного проекта может быть более миллиона запросов, что делает невозможным работу без мощных средств автоматизации.

Совокупный анализ всех источников данных

Благодаря тому, что многие продукты позволяют собирать все данные в рамках единой системы, а именно:
— данные по видимости в поисках;
— граф внешних и внутренних ссылок;
— анализ контента и внутренней оптимизации по запросам
становится возможным создавать комплексные аналитические сервисы, которые позволяют в рамках одного окна сравнить, по каким параметрам необходимо работать с сайтом и страницей, чтобы добиться необходимых результатов по заданным запросам.

Такие продукты существенно упрощают работу оптимизатора и позволяют делать значительно меньше ошибок при работе.

Обсуждение

Для добавления комментария, пожалуйста, авторизуйтесь