Как настроить быструю индексацию сайта?

• высокую скорость индексации страниц сайта поисковыми ботами;
• максимальное количество страниц в основном индексе;
• высокий авторитет страниц и всего сайта в глазах поисковых систем;
• высокие позиции сайта и
• большой трафик сайта.

site:https://site.ru/

site:https://site.ru/ "запрос"

• Не попадание в индекс важных страниц
• Попадание в индекс разных страниц с одинаковыми URL
• Попадание в индекс страниц с одинаковым контентом, но разными URL
• Индексация технических страниц
• Индексация и попадание в выдачу мусорных страниц
• Попадание в индекс административных страниц
• Потеря внутреннего веса основными страницами
• Потеря времени краулера при индексации не важных страниц

МЕТА-ТЕГИ

• Noindex, Follow

<meta name=«robots» content= «noindex, follow» />

Если мы хотим закрыть от индексации страницы, но хотим, чтобы поисковый бот переходил по ссылкам на этих страницах, то мы размещаем этот тег в страниц. По ссылкам то краулеры переходят и нет препятствий для передачи внутреннего и внешнего ссылочного веса, но вот драгоценное время на индексацию расходуется, что печально.


Noindex, Nofollow




<meta name=«robots» content= «noindex, nofollow» />


Страницы с этим тегом не индексируются, по ссылкам не осуществляется переход, время поискового краулера не расходуется, правда и передачи внутреннего и внешнего ссылочного веса нет (не передается ни ранг, ни текст ссылки).


Index, Nofollow




<meta name=«robots» content= «index, nofollow» />

Страницы с этим тегом индексируются, но по ссылкам поисковый бот не переходит, соответственно нет и передачи внутреннего и внешнего ссылочного веса. В принципе можно применять этот тег в случае, когда мы не хотим индексации страниц, на которые ссылаются внутренние ссылки.


Cannonical + Next/Prev




<link rel="canonical" href=" https://site.com/blog/text1" />

Атрибут rel="canonical" для элемента добавленный в страницы определяет основную из дублирующихся страниц, но использовать его следует только на похожих страницах в комплексе с атрибутом rel=”next” and rel=”prev” – используется для указания связи между несколькими URL при постраничной пагинации.



Robots.txt


«Обязательная программа» упорядочивания сайта в индексе ПС, но следует учитывать, что файл Robots.txt все же является рекомендацией, а не правилом.
Напомним часто забываемые нюансы:

• В robots.txt не нужно указывать, что что-то разрешено для индексации (Allow), достаточно указать то, что запрещено (Disallow)
• Для Яндекса указывайте отдельную секцию директив
• И не забывайте правильно прописывать хост для Яндекса — Host: www.site.ru — без протокола http:// или https:// и без закрывающего слеша /
• Если хотите закрыть именно директорию, а не файл и директорию, то оформляете ее слешами — Disallow: /dir/

Sitemap.xml


Sitemap.xml – «must have» для интернет-магазинов и много контентных сайтов. При создании карты сайта обращайте внимание на такие моменты:

• объем файла не больше 10 МБ;
• указывайте sitemap в файле robots.txt;
• для больших сайтов делаете несколько файлов sitemap.xml и включаете их в общий файл sitemap;
• указывайте теги priority и lastmod

AJAX / JavaScript

AJAX – вынесем в отдельную рубрику, так как этот комплекс технологий можно отнести сразу к организации и внешней, и внутренней структуры.
Это технология обращения к серверам без перезагрузки страницы с помощью JavaScript, которая уменьшает время отклика. Применение этого метода обеспечивает простоту просмотра и фильтрации продуктов при генерации только одного URL, а не множества динамических. С помощью AJAX реализуются фильтры, сортировка, меню, кнопки, формы и голосования, системы комментариев, «живой поиск» и обмен данными с сервером.
Но с Ajax есть ряд сложностей:

• Создание с его помощью приложения является довольно трудоемким.
• Сложности с индексацией поисковыми системами.
• Не совсем такие как нужно ЧПУ адреса страниц.
• Нюансы формирования Sitemap.xm
• Искажение данных статистики.
• Переход на Ajax должен быть поэтапный, так как сайт может потерять на время позиции
С помощью AJAX можно получить ряд дополнительных преимуществ (скорость и юзабилити) при продуманном подходе. Однако при не соблюдении требований поисковиков AJAX может привести к потере позиций и трафика.

Начиная с 2015 года Google рекомендует для AJAX соблюдать «Progressive Enhancement» при создании сайтов, что помогает поисковым роботам лучше «понимать» динамические страницы. На данный момент Google интерпретирует .js и .css, самостоятельно распознавая страницы на AJAX без какой-то дополнительной настройки.

Действительно, как бы нам не хотелось, но не существует панацеи, которая в один миг решит все проблемы, как не существует и одного универсального способа для любого сайта, нужно разбираться в конкретном случае.


Основные рекомендации для интернет-магазинов:

Хотя могут быть и базовые решения для правильной организации структуры и индексации сайтов различного типа.



Так можно обрисовать основные рекомендации для настройки быстрой и правильной индексации интернет-магазинов:

• Сайт на протоколе https, «зеркала» склеены, дубли URL закрыты от индексации с помощью тега Noindex, Nofollow
• Структура URL – продвигаемые страницы статические и ЧПУ, короткие адреса. Ключевые слова в урл – для всего домена — не реально, для посадочных страниц и так будут (названия товаров).
• Навигационное меню – максимально структурированное, всегда сверху
• «Хлебные крошки» двух видов – навигационная цепочка и «вернуться назад», понятно визуально оформлены, с разметкой микроданных.
• Внутренняя перелинковка
— Блоки: «Похожие товары», «Рекомендуемые товары», «С этим товаром покупают» и т.п.
— Упрощаем создание перелинковки с помощью модуля перелинковки MegaIndex.com
Фильтры – выбрать самые важные для продвижения страницы с применением фильтра + несколько популярных комбинаций фильтров – открыть для индексации, но закрыть от серфинга по ссылкам с помощью тега Index, Nofollow
Прочие фильтры и их комбинации закрываем полностью.
Сортировка — закрываем от индексации полностью с помощью Noindex, Nofollow
Пагинация – использовать canonical и next/prev для указания связи между несколькими URL при постраничной пагинации