Появится ли поисковая система от компании Apple? Что известно о поисковом краулере Applebot?
Поисковая система от Apple
Что произошло? В авторитетном издании Financial Times опубликована информация от источников из Apple. Сообщается, что Apple активно занимается разработкой собственной поисковой системы, которая должна заменить Google, использующуюся по умолчанию на iPhone и iPad.
Факт 1. Западные средства массовой информации зафиксировали рост активности поискового краулера Apple.
Пример активности. Логи сервера.
Факт 2. На работу в данном направлении указывает множество разных фактов. Например, Apple расширяет список вакансий, по которым предлагается работа над созданием архитектуры инновационной поисковой системы.
Ссылки на список вакансий — Вакансии в Apple.
Факт 3. Apple наняла на работу Джона Джаннандреа, который ранее занимал пост старшего вице-президента по поиску и искусственному интеллекту в Google Search. На данный момент подчиняется напрямую Тиму Куку, президенту компании.
Может ли Apple создать конкурента Google? На разработку реально конкурентной поисковой системы требуются годы. Но компания занимается данным направлением не первый год.
Создать поиск сложно, но в целом эксперты рынка отреагировали оптимистично.
По мнению Билла Куграна из Sequoia Capital, ранее занимавшего пост вице-президента Google по разработкам, у Apple есть квалифицированные сотрудники, которые могут создать новый поисковик.
Основатель Neeva и бывший глава рекламного подразделения Google, Шридхар Рамасвами о создании поисковой системы:
Позиция Apple уникальна, поскольку у нее есть iPhone и iOS. Она контролирует браузер по умолчанию
Профессор бизнес-школы Колумбийского университета Дэн Ван считает, что Apple будет крайне сложно догнать Google.
Списки вакансий на сайте Apple указывают на намерение ускорить процесс разработки поисковой системы.
Но какая причина спешки? Разработку катализировал иск.
В конце прошлого месяца Министерство юстиции Соединённых Штатов Америки подало антимонопольный иск против Google.
В чем суть претензии? Ведомство считает, что соглашение Apple и Google об установке поисковой системы по умолчанию является незаконной практикой, так как используется для защиты монополии Google и подавления конкуренции.
У Google есть аналогичные сделки с другими компаниями. Но важность сделки с Apple делает соглашение наиболее важным.
Внутри Google такой сценарий именуется Code Red.
Сценарий Code Red для Google
Основой иска является сделка, в рамках которой Google платит Apple миллиарды долларов в год, за гарантию, что поисковая система будет по умолчанию использоваться на iPhone и других устройствах Apple.
В иске указывается, что Сундар Пичаи (Google) Тим Кук (Apple) встретились в 2018 чтобы, обсудить то, как обе компании могут увеличить прибыль от использования поиска.
После встречи от Apple в Google поступило письмо с таким текстом:
Our vision is that we work as if we are one company.
Что получил Google? Монополию на рынке поисковых систем. Согласно Министерству юстиции благодаря сделке Google получил 36% всех поисковых запросов в штатах. В иске также утверждается, что в 2019 году почти 50% поискового трафика Google приходилось на устройства Apple.
Что получил Apple? Apple получает от Google 8-12 миллиардов долларов в год за то, что поисковая система Google по умолчанию используется на iPhone и iPad.
Сделка с Google приносит 15-20% всей годовой прибыли Apple. Сумма для компании значимая.
Министерство юстиции добивается устранения такой монополии. Ведомство считает, что монополия мешает другим проектам расти. Аргументация:
Google pays Apple billions to be the default search provider, in part, because Google knows the agreement increases the company's valuable scale; this simultaneously denies that scale to rivals.
We could lose the next wave of innovation. Americans may never get to see the next Google.
Google признает факт такой сделки:
Our agreements with Apple and other device makers and carriers are no different from the agreements that many other companies have traditionally used to distribute software
Если суд будет проигран, то все поисковые системы будут в равном положении. Результат:
- У Google значимо уменьшится доля на рынке поисковых систем;
- У Apple значимо уменьшится прибыль.
Как итог Apple активизировала разработку поисковой системы.
Что с поисковой системой на практике сейчас? Первая версия поиска уже разработана.
В одном из последних обновлений iOS 14 поисковая система уже может выполнять наиболее популярные поисковые запросы без использования Google.
Поиск интегрирован в Spotlight на iPad OS и iOS. Открывается так:
- Запуск Spotlight;
- Ввод требуемого поискового запроса;
- Нажатие на иконку поиска.
Выглядит так:
Работает не по всем запросам, не по всем странам.
Цель заключается в создании поиска, который заменит Google на iPhone и iPad. Преимущества от поисковой системы для Apple:
- Продвижение приложений в результатах поиска, которые принесут доход;
- Продвижение продуктов и сервисов Apple. Включая такие сервисы как Apple News, Apple TV, Apple One.
- Полный контроль внутри экосистемы;
- Доход от рекламы приложений в поисковой системе.
Убытки Google:
- Ослабление монополии Google, значительный удар по доходам от рекламы;
- Уменьшение данных, которые используются поисковой системой Google при ранжировании сайтов;
Краулер Applebot
Apple является компанией, которая имеет возможность проводить сканирование сайтов в глобальном масштабе. Большинство альтернативных поисковых систем, включая DuckDuckGo и Neeva, используют индекс поисковой системы Microsoft Bing.
Сканированием сайтов выполняет робот Applebot.
Собранные данные анализируются с целью ранжирования в Предложениях Siri и Предложениях Spotlight.
Как распознать визит поискового краулера на сайте? В строке user-agent обязательно содержится надпись Applebot.
На данный момент версия 0.1.
Что известно про краулер? Applebot поддерживает стандартные директивы robots.txt. К примеру, директива на запрет доступа к private:
User-agent: Applebot Allow: / Disallow: /private/
Если в инструкциях файла robots не упоминается Applebot, но есть Googlebot, то краулер Apple будет следовать инструкциям для Googlebot.
Краулер поддерживает также метатеги robots на страницах.
Applebot поддерживает перечисленные ниже директивы:
- noindex: Applebot не будет индексировать эту страницу, и она не отобразится в службах «Предложения Siri» и «Предложения Spotlight».
- nosnippet: Applebot не будет создавать описание или веб-слепок для этой страницы. В любых предложениях посетить соответствующий URL-адрес будет указан только заголовок страницы.
- nofollow: Applebot не будет переходить ни по каким ссылкам на этой странице.
- none: Applebot не будет индексировать эту страницу, использовать ее фрагменты или переходить по ссылкам на ней, как это описано выше.
- all: Applebot предоставляет документ для предложений и использует фрагменты содержимого, чтобы рядом с демонстрационным изображением появилось краткое описание страницы. Applebot может переходить по ссылкам на этой странице, чтобы делать больше предложений.
Связь с командой, которая занимается направлением по сканированию сайтов — [email protected].
После сканирования данные передаются в систему ранжирования. Какие факторы влияют на ранжирование? Разберемся с вопросом далее.
SEO в поисковой системе Apple
Появление поисковой системы требует провести работы по оптимизации страниц.
Хорошо, что в глобальном смысле особых изменений не предвидится.
В документации к краулеру Apple открыто заявляет о таких сигнал ранжирования:
- Агрегированное взаимодействие пользователей с результатами поиска;
- Актуальность и соответствие поисковых терминов темам и содержанию веб-страницы;
- Количество и качество ссылок с других страниц в сети;
- Сигналы, основанные на местоположении пользователя (приблизительные данные);
- Характеристики дизайна веб-страницы.
Внешние ссылки входят в список ключевых факторов ранжирования.
Рекомендованный материал в блоге MegaIndex на тему внешних ссылок далее — SEO продвижение ссылками в 2020. Практическое руководство.
Провести выгрузку внешних ссылок можно посредством сервиса Внешние ссылки от MegaIndex.
Как оценить характеристики дизайна? Applebot может выполнять рендеринг содержимого сайта в браузере. Если javascript, CSS и другие ресурсы заблокированы с использованием файла robots.txt, возможно, содержимое будет искажено. Это утверждение распространяется на ресурсы XHR, JS и CSS, которые могут требоваться на странице.
Чтобы Applebot проиндексировал страницу наилучшим образом, убедитесь, что все, что нужно браузеру для отображения страницы, доступно также для краулера.
Выводы
Google монополизировал рынок за счет проплаты большой суммы. Подан иск от ведомства.
Чтобы не терять рынок, Apple активизировала разработку собственной поисковой системы. Поиск позволил бы компании провести дезинтермедиацию, оставив лишь собственную систему.
Уже по состоянию на сейчас по ряду поисковых запросов ссылки из Spotlight ведут напрямую на сайты. Факт указывает на то, что поисковая система начального уровня уже разработана.
Алгоритмы ранжирования построены на анализе внешних ссылок, поведенческих факторах.
Рекомендованный материал в блоге MegaIndex на тему накрутки поведенческих факторов по ссылке далее — Накрутка поведенческих факторов ранжирования в Google и Yandex. Как работает и примеры сервисов.
Неясно, какой интерфейс будет у поисковой системы Apple. Будет ли поиск работать только через Spotlight на устройствах с iOS и OS X или же будет полноценный сайт, например siri.com.
На данный момент все основано на наблюдениях и предположениях.
Поисковая система позволила бы рекламодателям получить доступ к премиум аудитории. У компании есть хороший шанс забрать часть бюджетов на рекламу.
Лояльность аудитории к бренду на начальном этапе помогла в сборе информации, необходимой для обеспечения качественного поиска.
Получится ли у Apple создать успешную поисковую систему? Напишите мнение в комментариях.
Обсуждение