Как настроить быструю индексацию сайта?
24 May 2017
Автор: Galina Hablak

Как настроить быструю индексацию сайта?

Настройка индексации сайта — первая и основная ступень на пути к продвижению сайта, от которой зависит больше, чем нам бы хотелось.Правильная настройка индексации сайта гарантирует:
  • высокую скорость индексации страниц сайта поисковыми ботами;
  • максимальное количество страниц в основном индексе;
  • высокий авторитет страниц и всего сайта в глазах поисковых систем;
  • высокие позиции сайта и
  • большой трафик сайта.
Чтобы избежать проблем с попаданием в индекс поисковых систем мусорных страниц или того, что по нашему мнению, там быть не должно, чтобы не растрачивать временной бюджет поисковых краулеров на ненужные страницы, нужно для начала найти, какие страницы вашего сайта в индексе. Сделать это нужно и для всего сайта, введя в поисковое окно запрос в виде:
site:https://site.ru/
и под конкретные продающие запросы, в таком виде:
site:https://site.ru/ "запрос"
Особенно важно регулярно проверять индекс поисковых систем большим сайтам, имеющим сложную, динамичную структуру категорий, а также интернет-магазинам.
Посмотрите, какие страницы вашего сайта выдает поисковая система по первому запросу и какие по второму. Может быть такое, что по одному ключевому запросу в индексе находится не одна страница, как хотелось бы, а тысячи, что скорее всего и является причиной, по которой продвигаемая под этот запрос ваши страница никак не продвигается

Распространенные проблемы, которые возникают при неправильной настройке индексации сайта:
  • Не попадание в индекс важных страниц
  • Попадание в индекс разных страниц с одинаковыми URL
  • Попадание в индекс страниц с одинаковым контентом, но разными URL
  • Индексация технических страниц
  • Индексация и попадание в выдачу мусорных страниц
  • Попадание в индекс административных страниц
  • Потеря внутреннего веса основными страницами
  • Потеря времени краулера при индексации не важных страниц
Добиться быстрой и главное, нужной индексации можно применяя:

МЕТА-ТЕГИ

    • Noindex, Follow

    • <meta name=«robots» content= «noindex, follow» />
      Если мы хотим закрыть от индексации страницы, но хотим, чтобы поисковый бот переходил по ссылкам на этих страницах, то мы размещаем этот тег в страниц. По ссылкам то краулеры переходят и нет препятствий для передачи внутреннего и внешнего ссылочного веса, но вот драгоценное время на индексацию расходуется, что печально.

      Noindex, Nofollow


      <meta name=«robots» content= «noindex, nofollow» />

      Страницы с этим тегом не индексируются, по ссылкам не осуществляется переход, время поискового краулера не расходуется, правда и передачи внутреннего и внешнего ссылочного веса нет (не передается ни ранг, ни текст ссылки).

      Index, Nofollow


      <meta name=«robots» content= «index, nofollow» />
      Страницы с этим тегом индексируются, но по ссылкам поисковый бот не переходит, соответственно нет и передачи внутреннего и внешнего ссылочного веса. В принципе можно применять этот тег в случае, когда мы не хотим индексации страниц, на которые ссылаются внутренние ссылки.

      Cannonical + Next/Prev


      <link rel="canonical" href=" https://site.com/blog/text1" />
      Атрибут rel="canonical" для элемента добавленный в страницы определяет основную из дублирующихся страниц, но использовать его следует только на похожих страницах в комплексе с атрибутом rel=”next” and rel=”prev” – используется для указания связи между несколькими URL при постраничной пагинации.

      Robots.txt


      «Обязательная программа» упорядочивания сайта в индексе ПС, но следует учитывать, что файл Robots.txt все же является рекомендацией, а не правилом.
      Напомним часто забываемые нюансы:
      • В robots.txt не нужно указывать, что что-то разрешено для индексации (Allow), достаточно указать то, что запрещено (Disallow)
      • Для Яндекса указывайте отдельную секцию директив
      • И не забывайте правильно прописывать хост для Яндекса — Host: www.site.ru — без протокола http:// или https:// и без закрывающего слеша /
      • Если хотите закрыть именно директорию, а не файл и директорию, то оформляете ее слешами — Disallow: /dir/

      Sitemap.xml


      Sitemap.xml – «must have» для интернет-магазинов и много контентных сайтов. При создании карты сайта обращайте внимание на такие моменты:
      • объем файла не больше 10 МБ;
      • указывайте sitemap в файле robots.txt;
      • для больших сайтов делаете несколько файлов sitemap.xml и включаете их в общий файл sitemap;
      • указывайте теги priority и lastmod

      AJAX / JavaScript

      AJAX – вынесем в отдельную рубрику, так как этот комплекс технологий можно отнести сразу к организации и внешней, и внутренней структуры.
      Это технология обращения к серверам без перезагрузки страницы с помощью JavaScript, которая уменьшает время отклика. Применение этого метода обеспечивает простоту просмотра и фильтрации продуктов при генерации только одного URL, а не множества динамических. С помощью AJAX реализуются фильтры, сортировка, меню, кнопки, формы и голосования, системы комментариев, «живой поиск» и обмен данными с сервером.
      Но с Ajax есть ряд сложностей:
      • Создание с его помощью приложения является довольно трудоемким.
      • Сложности с индексацией поисковыми системами.
      • Не совсем такие как нужно ЧПУ адреса страниц.
      • Нюансы формирования Sitemap.xm
      • Искажение данных статистики.
      • Переход на Ajax должен быть поэтапный, так как сайт может потерять на время позиции
      С помощью AJAX можно получить ряд дополнительных преимуществ (скорость и юзабилити) при продуманном подходе. Однако при не соблюдении требований поисковиков AJAX может привести к потере позиций и трафика.

      Начиная с 2015 года Google рекомендует для AJAX соблюдать «Progressive Enhancement» при создании сайтов, что помогает поисковым роботам лучше «понимать» динамические страницы. На данный момент Google интерпретирует .js и .css, самостоятельно распознавая страницы на AJAX без какой-то дополнительной настройки.

      Действительно, как бы нам не хотелось, но не существует панацеи, которая в один миг решит все проблемы, как не существует и одного универсального способа для любого сайта, нужно разбираться в конкретном случае.

      Основные рекомендации для интернет-магазинов:

      Хотя могут быть и базовые решения для правильной организации структуры и индексации сайтов различного типа.

      Так можно обрисовать основные рекомендации для настройки быстрой и правильной индексации интернет-магазинов:

      • Сайт на протоколе https, «зеркала» склеены, дубли URL закрыты от индексации с помощью тега Noindex, Nofollow
      • Структура URL – продвигаемые страницы статические и ЧПУ, короткие адреса. Ключевые слова в урл – для всего домена — не реально, для посадочных страниц и так будут (названия товаров).
      • Навигационное меню – максимально структурированное, всегда сверху
      • «Хлебные крошки» двух видов – навигационная цепочка и «вернуться назад», понятно визуально оформлены, с разметкой микроданных.
      • Внутренняя перелинковка
      • — Блоки: «Похожие товары», «Рекомендуемые товары», «С этим товаром покупают» и т.п.
      — Упрощаем создание перелинковки с помощью модуля перелинковки MegaIndex.com
      Фильтры – выбрать самые важные для продвижения страницы с применением фильтра + несколько популярных комбинаций фильтров – открыть для индексации, но закрыть от серфинга по ссылкам с помощью тега Index, Nofollow
      Прочие фильтры и их комбинации закрываем полностью.
      Сортировка — закрываем от индексации полностью с помощью Noindex, Nofollow
      Пагинация – использовать canonical и next/prev для указания связи между несколькими URL при постраничной пагинации

Обсуждение

Для добавления комментария, пожалуйста, авторизуйтесь