Google BigQuery для аналитики в SEO и интернет-маркетинге. Как и для каких целей применяется?
23 января 2020

Google BigQuery для аналитики в SEO и интернет-маркетинге. Как и для каких целей применяется?

Сервисы Google Analytics и Yandex.Метрика решают не все задачи по анализу данных при продвижении проектов в интернете.

На многих успешных проектах используются системы тотальной аналитики.

Как и для каких целей применяются такие системы?

Рассмотрим примеры задач по SEO и интернет-маркетингу, которые решаются с использованием таких систем.

На многих проектах аналитика не используется ввиду отсутствия видения по реализации на практике.

Целью материала является информирование о потенциальных возможностях аналитики и доступных по цене способах реализации на практике.

Итак, разберемся с темой аналитики далее.

Системы для аналитики данных


Использование популярных систем например таких, как Google Analytics и Яндекс.Метрика является лишь начальным этапом в анализе данных. Данные сервисы позволяют решать такие задачи как:

  • Анализ конверсий;
  • Сегментирование;
  • Создание выводов об эффективности внесенных изменений на сайте и прочее.

Применение систем для глубокой аналитики является следующим этапом в анализе данных.

Почему подобные системы аналитики востребованы на рынке и почему использование привычных сервисов является недостаточным? Сервисы Google Analytics и Yandex.Метрика предназначены для анализа данных на основе просмотров страниц и регистраций событий в рамках сайта. Как результат, такие системы покрывают не все задачи.

Недостатки в следующем:

  • Нет механизма для импорта и учета данных из иных источников. Например, нельзя учитывать активность в оффлайн каналах, таких как мероприятия, звонки и так далее. Нет решений для интеграции с данными из SEO сервисов и так далее;
  • Анализ проводится на базе сэмплированных данных.

Любая аналитика применяется в цикле:

BigQuery для аналитики при создании продукта

В маркетинге для продвижения используются разные каналы, включая сегменты каналов из оффлайна. Поэтому для многих проектов требуются системы сквозной аналитики. Помимо реализации сквозной аналитики, есть и иные типы задач.

Какие вопросы решаются с применением таких решений? К примеру, купит пользователь премиальный тариф без скидки или нет. В любых вариантах, такие системы используются как инструмент для максимизации прибыли.

Рассмотрим самые простые примеры задач.

Практические примеры


Пример 1. В сервис добавлена новая функциональность. Задача заключается в проверке гипотезы на предмет, увеличивает ли добавленная функциональность метрику lifetime value.

Как проверить данные? Весь процесс заключается в следующем:

  • Выгрузка из Analytics сегмента пользователей, использующих инструмент;
  • Выгрузка по User ID данных о платежах из внутренней системы;
  • Анализ динамики до и после внедрения функциональности.

Если гипотеза подтвердилась, то затем в целях увеличения прибыли следует сделать следующие:

  • Выгрузить из Analytics сегмент пользователей, которые не использовали добавленную функциональность;
  • Выгрузить по User ID данные о e-mail из внутренней системы;
  • Сделать рассылку.

В Google Analytics хранить контактные данные запрещается правилами использования сервиса. В Google BigQuery нет проблем с хранением контактных данных.

Пример 2. Был проведен онлайн вебинар. Задача в создании ремаркетинга на аудиторию вебинара, которая не конвертировались в пользователей или покупателей.

Как решить данную задачу? Решение в следующем:

  • Настраиваем событие на регистрацию на мероприятие;
  • Включаем параллельную загрузку данных User ID в BigQuery. Напрямую такие данные получить из Google Analytics нельзя;
  • Выбираем требуемый сегмент и импортируем список в систему ремаркетинга.

Пример 3. На сайте агрегатора есть 5 миллионов страниц. Требуется найти страницы которые не приносят пользу.

Как решить данную задачу? Решение в следующем:

  • Выгрузка поисковой видимости страниц посредством использования API из базы MegaIndex или иных источников;
  • Выгрузка частотности ключевых фраз из базы MegaIndex или иных источников;
  • Выгрузка значений о трафике на страницах из Google Analytics;
  • Импорт данных в BigQuery;
  • Анализ данных.

BigQuery пример использования

Итак, страницы разделены на эффективные и прочие. Далее следует внести правки на сайт. Например, удалить страницы без трафика или разместить на таких страницах 301 редирект.

Рекомендованный материал в блоге MegaIndex по ссылке далее — Как удалить страницы из индекса поисковых систем? Какие страницы нужно удалить из выдачи? Зачем?

Пример 4. Сайт создан под партнерские сети и на сайте есть большой объем трафика.

Как решить задачу по увеличению прибыли? Весь процесс заключается в следующем:

  • Создание слепка из контента на странице;
  • Импорт из партнерских сетей данных о результатах по конверсиям;
  • Анализ данных.

Такая простая аналитика дает понимание об наиболее эффективных вариантах контента и способна увеличить прибыль на десятки процентов.

На больших сайтах и SaaS сервисах прибыль составляет сотни тысяч долларов в месяц. Увеличение прибыли на проценты являются значимыми.

В Google Analytics и Yandex.Метрике нет способа проводить подобную аналитику.

Пример 5. Например, проект размещается на YouTube. Сайта нет.

Данный проект рекламируется в Google, YouTube и Facebook. В данном случае имеет смысл выгрузить данные из рекламных площадок в Google BigQuery, и провести анализ эффективности рекламных кампаний в сравнении.

В результате следует сделать выводы, и распределить затраты в пользу наиболее эффективных каналов продвижения и роликов.

Еще сферы применения:

  • Как инструмент для быстрой обработки логов в облаке;
  • Как инструмент для быстрой обработки данных из SEO сервисов, таких как Screeming Frog;
  • Работа с отчетами по внешним ссылкам.

BigQuery в SEO еще используется как инструмент для хранения и анализа данных, которые удаляются из сервисов поисковых систем. Например, Google Search Console и подобные сервисы сохраняют данные на небольшой срок, а после данные удаляются.

Как реализовать подобную аналитику на практике?



Зачастую для реализации таких систем требуются большие инвестиции. Но есть крайне дешевый способ для реализации подобных решений, применяя который можно решить большую часть всех задач в аналитике.

Оптимальной базой для реализации таких решений являются облачные сервисы Amazon Redshift и Google BigQuery.

Рассмотрим решение Google BigQuery. Преимущества:

  • Низкий порог входа;
  • Низкая стоимость поддержки решения;
  • Быстрая обработка;
  • Импорт данных из разных API;
  • Простота в использовании.

Применяя специальный скрипт перехвата данных, все данные, которые отправляются в Google Analytics, можно перехватывать и передавать в базу BigQuery. В дополнение, в базу можно передать и любые другие данные.

Перехват данных, передача данных по API в BigQuery

Различные скрипты по интеграции упрощают импорт данных. Такие скрипты есть для разных источников данных:

  • Рекламные отчеты из Yandex.Директ;
  • Рекламные отчеты из Facebook;
  • Данные из менеджера задач;
  • Данные из приложений для мобильных устройств;
  • Данные из мероприятий в оффлайне.

Доступен импорт из таких файлов:

  • JSON;
  • CSV.

Для Google BigQuery есть готовые решения по интеграции с API различных сервисов. Например:

  • Google Analytics API;
  • Google Search Console API.

Нюансы по Google Analytics:

  • Данные по протоколу Measurement Protocol следует передавать в реальном времени, иначе будет потеряна привязка пользователя к сессии;
  • При выгрузке User ID следует выделить отдельную пользовательскую переменную.

Как добавлять данные? Два способа:

  • Скрипты. Данный способ позволяет наладить автоматическую загрузку данных в базу Google BigQuery;
  • Плагины. Данный способ является ручным. Сначала данные добавляют в Google Storage, далее передаются в Google BigQuery.

Сервис BigQuery работает со структурированными данными.

На этапе загрузки данных в Google BigQuery следует использовать систему для мониторинга.

Что такое мониторинг? Мониторингом является система, которая отслеживать корректность отправляем данных в Google BigQuery. Например, система Google Stackdriver. В системе есть встроенный коннектор к BigQuery. Сервис бесплатный.

Пример данных, по которым проводится мониторинг:

  • Количество запросов;
  • Расход денег. Есть опция задания порога на затраты;
  • Количество прочитанных данных.
BigQuery как настроить процесс

Далее данные следует сформировать в отчет и проанализировать.

Формируются отчеты так:

  • Через использование скрипта по выгрузке данных на сайт;
  • OWOX Query Editor позволяет выгрузить в Google Таблицы. Сервис является бесплатным;
  • Google App Script. Есть интеграция с Big Query и возможность сформировать любые отчеты для открытия в Google Таблицах. Есть возможность настроить запускать скрипты по расписанию.

Как визуализировать данные? К примеру, использовать BigQuery BI Engine. Данное решение не требует знаний на тему языка запросов к базе данных. Инструмент позволяет соединить Google BigQuery c Google Data Studio.

Google Data Studio является сервисом, который позволяет создавать различные графики, формировать отчеты. Сервис бесплатный.

Цена низкая. Например, цена за использование сервиса BigQuery в целях аналитики сайта агрегатора на предмет внутренней поисковой оптимизации составила менее $10.

Итак, почему Google BigQuery является оптимальным вариантом?

Главные плюсы Google BigQuery следующие:

  • Скорость обработки near-real-time;
  • Распараллеливание процессов на разные сервера;
  • Низкая цена.

Данный сервис является простым и дешевым в применении на практике.

Значит данный инструмент позволяет сократить риски от создания дорогой инфраструктуры для аналитики.

Вопросы и ответы


По каким причинам не подходит Google Analytics 360?


Google Analytics 360 расширяет возможности Google Analytics.

Ряд проблем решается. Но есть и значимые недостатки.

Условия использования сервиса Google Analytics 360 запрещают сбор контактных данных.

Еще в сервисе Google Analytics 360 есть такие ограничения:

  • 200 тысяч хитов на пользователя в сутки;
  • 500 миллионов хитов в месяц;
  • 500 хитов на сессию;
  • 200 показателей;
  • 200 пользовательских параметров.

Далее, если пользователь перешел на сайт два раза в рамках одной и той же рекламной кампании, то Google Analytics 360 определит второй переход как direct трафик.

Главные недостатки сервиса такие:

  • Цена подписки составляет десятки тысяч долларов за год;
  • Решаются не все проблемы по импорту данных.

Альтернативным вариантом мог бы быть Excel.

По каким причинам не подходит Excel или Google Таблицы?


Excel никак не подходит для анализа большого объема данных. Недостатки продукта следующие:

  • Применимы не для всех задач;
  • При обработке серьезных объемов данных обработка занимает много времени и требует наличие системных ресурсов;
  • В Google Таблицах есть ограничение на 2 миллиона ячеек.
  • В Excel есть ограничения на объем столбцов и строк;
  • Нет автоматического обновления данных;
  • Данные нельзя получить в моменте.

Альтернативным вариантом мог бы быть выделенный сервер и под аналитику.

Выделенный сервер и система под аналитику?


Данный вариант интересный. Но разработка системы является дорогим вариантом.

Есть готовые решения, такие например как Vertica и Yandex ClickHouse.

Преимущества:

  • Безопасность данных;
  • Низкая цена на больших объемах.

Недостатки:

  • Инвестиции в инфраструктуру;
  • Затраты на настройку;
  • Не просто масштабировать.

Выводы


Бесплатные системы для аналитики решают не все задачи. Например, какие минусы есть у Google Analytics? Главное недостатки:

  • Семплирование;
  • Проблемы с импортом данных. Например, запрет на хранения контактных данных. Нет учета отменных заказов, нет учета заказов по телефону и из оффлайн источников;
  • Неудобно обрабатывать большие объемы данных.

Все подобные сервисы ограничены структурой и интерфейсом.

Список всех требований к сервису по аналитике данных следующий:

  • Импорт данных по API из различных источников;
  • Легкий и гибкий в применении. Значит, с агрегацией всех данных для анализа в единой структуре и с применением SQL запросов для гибкости;
  • Быстрый при обработке большого объема данных;

Зачастую цена разработки таких систем составляет сотни тысяч долларов и больше. Но есть способ, который дешевый в плане инвестиций и потребляемых ресурсов. Использование данного способа позволяет решить значимую часть всех задач по аналитике. Данный способ следует использовать для обработки больших объемов данных. Способ заключается в использовании распределенной серверной инфраструктуры Google BigQuery как базы данных и среды для вычислений.

Если данных по посещаемости страниц сайта достаточно, то имеет смысл использовать простые и бесплатные системы. Например такие, как MegaIndex. Данный сервис не передает данные в поисковые системы.

Ссылка на сервис — MegaIndex Stat.

Сервис бесплатный.

Бесплатная система статистики для сайта

Какие системы аналитики на практике используете вы? Какие ставите интересные практические задачи по аналитике? Напишите в комментариях.

Обсуждение

ernur8601
11:43 30 января 2020
Так это и есть сквозная аналитика.
Дмитрий Угниченко
14:32 1 февраля 2020
Сквозная аналитика является составной частью.
rwzd4281
01:51 11 февраля 2020

شركة تسليك مجارى بالخبر
تسليك مجاري بالخبر
شركة تسليك مجارى بالقطيف
تسليك مجاري بالقطيف
شفط بيارات القطيف
رقم مجارى القطيف
رقم مصلحة المجارى القطيف
شركة تنظيف كنب بالرياض
شركة النمل الأبيض بالخبر
شركة مكافحة حشرات بالجبيل
شركة مكافحة النمل الابيض بالجبيل
مكافحة حشرات بالجبيل
مكافحة الفئران بالجبيل
مكافحة الحشرات بالجبيل الصناعية
شركة هت لمكافحة الحشرات بالجبيل
شركة رش مبيدات بالجبيل
شركة مكافحة حشرات بالدمام
افضل شركة رش مبيدات بالدمام
شركة مكافحة البق بالدمام
شركة مكافحة الفئران بالدمام
شركة مكافحة النمل الابيض بالدمام
شركة تنظيف كنب بالدمام
شركة غسيل كنب بالدمام
شركة تنظيف مجالس بالدمام
شركة غسيل مجالس بالدمام
شركة تنظيف مجالس بالجبيل
Для добавления комментария, пожалуйста, авторизуйтесь