Парсер Яндекса помогает автоматизировать эту работу. Он получает страницы поиска и собирает ссылки, заголовки и описания сайтов.
В статье рассматриваем, как парсить выдачу Яндекса с помощью Python и RuCaptcha Scraper API. Напишем скрипт, который исключает рекламу и сохраняет органические результаты в CSV.
Что такое парсер поисковой выдачи Яндекса
SERP (Search Engine Results Page) — это страница с результатами поиска. Парсер SERP получает страницу и извлекает данные.
Данные:
- URL — адреса найденных страниц.
- Заголовки — названия страниц в выдаче.
- Сниппеты — короткие описания результатов.
- Домены — сайты, которые появляются по запросу.
- Порядок результатов — последовательность ссылок в обработанном HTML.
Эти данные полезны для анализа конкурентов и изменений в поиске. Но порядок ссылок не всегда равен точным позициям в Яндексе. Например, скрипт может пропустить одну карточку. Тогда номера следующих результатов будут неверными. Поэтому перед мониторингом позиций нужно проверить, все ли органические результаты найдены.
Для чего парсить выдачу Яндекса
Ручная проверка подходит для нескольких запросов. Но если запросов десятки или сотни, лучше использовать парсер. Он собирает данные в одном формате. Затем их можно сравнить или загрузить в таблицу.
Парсинг помогает решать следующие задач:
- Анализ конкурентов. Найти сайты, которые появляются по нужным запросам.
- Проверка видимости. Посмотреть, есть ли страницы вашего сайта в выдаче.
- Мониторинг изменений. Сравнить результаты за разные дни.
- Региональный анализ. Проверить выдачу для разных городов.
- Анализ контента. Изучить заголовки и описания страниц конкурентов.
Для примера возьмем три запроса: seo tools, keyword research и web scraping tools. По запросу seo tools мы уже проверили парсер на сохраненной странице Яндекса.
Способы парсинга Яндекса
Собрать результаты поиска можно тремя способами.
Вручную. Откройте Яндекс, введите запрос и скопируйте ссылки. Этот способ подходит для небольшого списка ключевых слов.
Через Python и BeautifulSoup. Загрузите HTML обычным HTTP-запросом. Затем найдите нужные элементы в коде страницы. Но Яндекс может ограничить такие запросы или показать капчу.
Через Scraper API. Передайте адрес страницы через API. Сервис загрузит HTML. После этого ваш Python-скрипт извлечет результаты поиска.
В этой статье используем третий способ.
Как работает RuCaptcha Scraper API
RuCaptcha Scraper API загружает веб-страницы по URL. Он поддерживает страницы с JavaScript. Сервис может вернуть HTML и другие форматы данных. Он также умеет обрабатывать некоторые виды защитных проверок и капч. Но успешная загрузка любой страницы не гарантирована.
Для Яндекса используем задачу scrape. В примере API возвращает HTML, а не готовый отчет о позициях. Поэтому результаты поиска надо извлечь отдельным скриптом.
Работа состоит из четырех шагов:
- Создаем ссылку. Python добавляет поисковую фразу, регион и номер страницы к URL Яндекса.
- Отправляем запрос. Скрипт передает ссылку и API-ключ в RuCaptcha Scraper API.
- Получаем HTML. API загружает страницу и возвращает ее содержимое. Если задача еще работает, скрипт проверяет ее статус по идентификатору.
- Собираем данные. Python исключает рекламу и специальные блоки. Затем сохраняет заголовки, ссылки и сниппеты в CSV.
Таким образом, Scraper API загружает страницу. А Python-скрипт обрабатывает ее содержимое.
Как написать парсер Яндекса на Python
Шаг 1. Получаем API-ключ
Зарегистрируйтесь на RuCaptcha и откройте личный кабинет. Скопируйте API-ключ. Для платных запросов нужен положительный баланс.
Не добавляйте ключ в исходный код. Сохраните его в переменной окружения RUCAPTCHA_API_KEY.
Шаг 2. Устанавливаем библиотеки
Нужны две библиотеки:
- requests — отправляет запросы к API.
- beautifulsoup4 — находит элементы в HTML.
Установите их через терминал:
python3 -m pip install requests beautifulsoup4
Selenium и Playwright здесь не нужны. Страницу загружает Scraper API. Python получает готовый HTML и обрабатывает его.
Шаг 3. Формируем URL поиска
Яндекс принимает параметры прямо в адресе страницы.
| Параметр | Для чего нужен |
|---|---|
| text | Поисковая фраза |
| lr | Регион поиска |
| p | Номер страницы. Первая страница — 0 |
Например, эта ссылка открывает первую страницу по запросу seo tools для Москвы:
https://yandex.ru/search/?text=seo+tools&lr=213&p=0
В скрипте используем функцию urlencode(). Она правильно записывает пробелы и другие символы в URL.
Шаг 4. Отправляем запрос в RuCaptcha Scraper API
Для загрузки страницы используем метод POST /tasks/sync. Он описан в документации RuCaptcha.
Обратите внимание на адрес API. В документации RuCaptcha указан хост scraper.2captcha.com. Поэтому мы используем его и в запросе, и в Python-коде. Не заменяйте адрес на scraper.rucaptcha.com: его поддержка не подтверждена.
Пример запроса:
curl -X POST "https://scraper.2captcha.com/tasks/sync" \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"task_type": "scrape",
"url": "https://yandex.ru/search/?text=seo+tools&lr=213&p=0",
"data_format": "raw",
"format": "json",
"waitFor": {"element": "#search-result li.serp-item"},
"timeout": 120
}'
Что означают параметры:
- task_type: scrape — загрузить страницу.
- url — адрес поиска Яндекса.
- data_format: raw — получить HTML без преобразования.
- format: json — вернуть ответ в JSON.
- waitFor — дождаться появления карточки поиска.
- timeout — задать время ожидания синхронного ответа API.
Для waitFor есть отдельный лимит — 30 секунд. Если карточка не появилась, API может вернуть загруженную страницу с предупреждением warn.
В ответе важны три поля. status показывает состояние задачи. http_code содержит HTTP-код ответа Яндекса. В поле body находится HTML страницы.
Иногда API возвращает HTTP 408 и статус pending. Это значит, что задача еще выполняется. В ответе будет response_id. Сохраните его и запросите результат через GET /tasks/result/{response_id}. Не создавайте новую платную задачу для того же запроса.
Шаг 5. Пишем Python-скрипт
Создайте файл yandex_serp_parser.py. Вставьте в него код ниже.
Скрипт проверяет три поисковые фразы. Для каждой фразы он запрашивает две страницы. Затем находит карточки поиска. Рекламу и блоки с ответами ИИ он пропускает. Остальные результаты сохраняет в CSV.
Как проверяли скрипт. 3 ноября 2026 года мы протестировали разбор сохраненного HTML Яндекса. Страница содержала 22 карточки: 10 возможных органических результатов, 11 рекламных карточек и один блок с ответом ИИ. Скрипт правильно разделил эти группы. Но Яндекс может изменить разметку. Поэтому результат нужно проверять при новых запусках.
"""Collect Yandex SERP cards via RuCaptcha Scraper API.
Requires: pip install requests beautifulsoup4
Set RUCAPTCHA_API_KEY to your API key.
Yandex selectors tested on a saved real SERP HTML (2026-11-03).
Validate again if Yandex changes its layout.
"""
import csv
import os
import time
from datetime import datetime, timezone
from pathlib import Path
from urllib.parse import urlencode, urljoin, urlparse
import requests
from bs4 import BeautifulSoup
API_BASE = "https://scraper.2captcha.com"
API_KEY = os.environ.get("RUCAPTCHA_API_KEY", "")
QUERIES = ["seo tools", "keyword research", "web scraping tools"]
REGION = 213
PAGES_PER_QUERY = 2
OUTPUT_FILE = Path("yandex_serp_results.csv")
DEBUG_DIR = Path("yandex_debug")
class ScrapeError(RuntimeError):
pass
def search_url(query: str, page: int) -> str:
return "https://yandex.ru/search/?" + urlencode(
{"text": query, "lr": REGION, "p": page}
)
def response_json(response: requests.Response) -> dict:
try:
result = response.json()
except ValueError as exc:
raise ScrapeError(
f"Expected JSON, got HTTP {response.status_code}: "
f"{response.text[:250]}"
) from exc
if not isinstance(result, dict):
raise ScrapeError("The API returned a non-object JSON response")
return result
def poll_task(session: requests.Session, response_id: str) -> dict:
"""Fetch the existing task instead of creating duplicate paid tasks."""
for _ in range(90):
time.sleep(3)
try:
response = session.get(
f"{API_BASE}/tasks/result/{response_id}", timeout=(10, 30)
)
except requests.RequestException as exc:
raise ScrapeError(
f"Cannot check task {response_id}: {exc}. "
"Retain the response ID and check the task again."
) from exc
if response.status_code == 202:
continue
if response.status_code == 200:
return response_json(response)
error = response_json(response)
raise ScrapeError(
f"Task {response_id} failed (HTTP {response.status_code}): "
f"{error.get('error', error)}"
)
raise ScrapeError(f"Task {response_id} is still running; retrieve it later")
def scrape_html(session: requests.Session, target_url: str) -> tuple[str, str]:
payload = {
"task_type": "scrape",
"url": target_url,
"data_format": "raw",
"format": "json",
"waitFor": {"element": "#search-result li.serp-item"},
"timeout": 120,
}
headers = {"Authorization": f"Bearer {API_KEY}"}
for attempt in range(3):
try:
response = session.post(
f"{API_BASE}/tasks/sync",
json=payload,
headers=headers,
timeout=(15, 135),
)
except requests.RequestException as exc:
raise ScrapeError(
"Network error during task creation. The task may already "
"exist; do not blindly retry the paid POST request: " + str(exc)
) from exc
if response.status_code != 503 or attempt == 2:
break
retry_after = response.headers.get("Retry-After", "5")
try:
delay = max(1, min(120, int(retry_after)))
except ValueError:
delay = 5
print(f"API busy. Retrying in {delay} seconds.")
time.sleep(delay)
if response.status_code == 408:
pending = response_json(response)
response_id = pending.get("response_id")
if not response_id:
raise ScrapeError("HTTP 408 without response_id")
print(f"Task pending: {response_id}")
result = poll_task(session, response_id)
elif response.status_code == 200:
result = response_json(response)
else:
error = response_json(response)
raise ScrapeError(
f"API HTTP {response.status_code}: {error.get('error', error)}"
)
status = result.get("status")
http_code = result.get("http_code")
if status not in ("success", "warn") or http_code != 200:
raise ScrapeError(
f"Target failed: status={status}, http_code={http_code}, "
f"error={result.get('error', '')}"
)
html = result.get("body")
if not isinstance(html, str) or not html.strip():
raise ScrapeError("Empty or invalid HTML in body")
return html, str(result.get("warning", ""))
def clean_text(node) -> str:
return " ".join(node.stripped_strings) if node else ""
# Реклама может использовать те же CSS-классы, что и обычная выдача.
# Проверяем основную ссылку карточки, а не только ее оформление.
AD_TRACKING_HOSTS = {"yabs.yandex.ru"}
AD_TRACKING_PATHS = {"/an/count", "/count"}
KNOWN_SPECIAL_BLOCKS = {"neuro_answer"}
def is_ad(item, primary_link=None) -> bool:
fast_name = str(item.get("data-fast-name", "")).lower()
if fast_name.startswith("adv_") or fast_name in {"direct", "serp-adv"}:
return True
if item.select_one(
".serp-adv-item, .serp-adv__found, "
"[data-fast-name='direct'], [data-fast-name='serp-adv'], "
"[aria-label='Реклама'], [title='Реклама']"
):
return True
if primary_link is None:
primary_link = item.select_one(
".OrganicTitle a.OrganicTitle-Link[href], "
".OrganicTitle a.Link[href]"
)
if primary_link is None:
return False
href = primary_link.get("href", "")
url = urlparse(urljoin("https://yandex.ru", href))
host = (url.hostname or "").lower()
path = url.path.lower()
# Эти рекламные URL встречались в сохраненной выдаче Яндекса.
if host in AD_TRACKING_HOSTS:
return True
if host in {"yandex.ru", "www.yandex.ru"} and any(
path == prefix or path.startswith(prefix + "/")
for prefix in AD_TRACKING_PATHS
):
return True
return False
def parse_yandex(html: str) -> tuple[list[dict], dict]:
soup = BeautifulSoup(html, "html.parser")
captcha = soup.select_one(
".CheckboxCaptcha, .AdvancedCaptcha, [class*='SmartCaptcha'], "
"form[action*='captcha'], iframe[src*='captcha'], "
"#checkbox-captcha-form"
)
if captcha or "captcha" in clean_text(soup.title).lower():
raise ScrapeError("Yandex returned a verification page")
container = soup.select_one("#search-result")
if container is None:
raise ScrapeError("Could not find #search-result")
items = container.select("li.serp-item")
if not items:
raise ScrapeError("No SERP cards found")
results = []
ad_count = 0
special_count = 0
unrecognized_count = 0
for item in items:
fast_name = str(item.get("data-fast-name", "")).lower()
if fast_name in KNOWN_SPECIAL_BLOCKS:
special_count += 1
continue
link = item.select_one(
".OrganicTitle a.OrganicTitle-Link[href], "
".OrganicTitle a.Link[href]"
)
if is_ad(item, link):
ad_count += 1
continue
title = item.select_one(".OrganicTitle-LinkText")
if link is None or title is None:
unrecognized_count += 1
continue
target = urljoin("https://yandex.ru", link.get("href", ""))
parsed = urlparse(target)
title_text = clean_text(title)
if (parsed.scheme not in {"http", "https"}
or not parsed.hostname or not title_text):
unrecognized_count += 1
continue
snippet = item.select_one(
".Organic-ContentWrapper .OrganicTextContentSpan, "
".OrganicTextContentSpan"
)
results.append({
"title": title_text,
"url": target,
"domain": parsed.hostname.lower(),
"snippet": clean_text(snippet),
})
if not results:
raise ScrapeError("No recognizable organic result cards")
quality = {
"total_cards": len(items),
"ads": ad_count,
"special_blocks": special_count,
"unrecognized": unrecognized_count,
}
return results, quality
def save_debug(query_index: int, page: int, html: str) -> None:
DEBUG_DIR.mkdir(parents=True, exist_ok=True)
path = DEBUG_DIR / f"query_{query_index}_page_{page + 1}.html"
path.write_text(html, encoding="utf-8")
print(f"HTML saved for inspection: {path}")
def main() -> None:
if not API_KEY:
raise SystemExit("Set RUCAPTCHA_API_KEY in your environment")
all_rows = []
failures = []
with requests.Session() as session:
for query_index, query in enumerate(QUERIES, 1):
seen = set()
ordinal = 0
for page in range(PAGES_PER_QUERY):
html = ""
try:
html, warning = scrape_html(session, search_url(query, page))
found, quality = parse_yandex(html)
if warning:
print(f"Yandex request warning: {warning}")
print(f"{query} page {page + 1}: {len(found)} parsed, {quality}")
if quality["unrecognized"] or warning:
save_debug(query_index, page, html)
for result in found:
if result["url"] in seen:
continue
seen.add(result["url"])
ordinal += 1
all_rows.append({
"keyword": query,
"extracted_order": ordinal,
"page": page + 1,
"region": REGION,
**result,
"checked_at": datetime.now(timezone.utc).isoformat(timespec="seconds"),
"needs_review": bool(warning or quality["unrecognized"]),
})
except (ScrapeError, requests.RequestException) as exc:
failures.append((query, page + 1, str(exc)))
print(f"Failed: {query}, page {page + 1}: {exc}")
if html:
save_debug(query_index, page, html)
break
if all_rows:
columns = ["keyword", "extracted_order", "page", "region", "title", "url", "domain", "snippet", "checked_at", "needs_review"]
with OUTPUT_FILE.open("w", encoding="utf-8-sig", newline="") as out:
writer = csv.DictWriter(out, fieldnames=columns)
writer.writeheader()
writer.writerows(all_rows)
print(f"Saved {len(all_rows)} rows to {OUTPUT_FILE}")
if failures:
print("Incomplete collection:")
for query, page, reason in failures:
print(f" {query}, page {page}: {reason}")
raise SystemExit(1)
if not all_rows:
raise SystemExit("No results collected")
print("Finished. Check result order against Yandex before using as rankings.")
if __name__ == "__main__":
main()
Шаг 6. Запускаем парсер
Сначала задайте API-ключ.
Для macOS и Linux:
export RUCAPTCHA_API_KEY="YOUR_API_KEY" python3 yandex_serp_parser.py
Для Windows PowerShell:
$env:RUCAPTCHA_API_KEY="YOUR_API_KEY" python yandex_serp_parser.py
После запуска скрипт создаст файл yandex_serp_results.csv.
По умолчанию он использует три запроса и две страницы на каждый запрос. Всего может быть отправлено до шести задач в Scraper API. Для первого теста лучше оставить один запрос и одну страницу:
QUERIES = ["seo tools"] PAGES_PER_QUERY = 1
В CSV будут следующие столбцы:
| Столбец | Содержимое |
|---|---|
| keyword | Поисковая фраза |
| extracted_order | Порядок результатов, которые нашел скрипт |
| page | Номер страницы выдачи |
| region | Код региона Яндекса |
| title | Заголовок результата |
| url | Ссылка на страницу |
| domain | Домен сайта |
| snippet | Краткое описание |
| checked_at | Время проверки в UTC |
| needs_review | Признак того, что данные нужно проверить |
Если API вернет предупреждение, скрипт может сохранить HTML в папку yandex_debug. Он также сохранит страницу, если найдет неизвестную карточку. При ошибке запроса скрипт покажет ее в терминале. При этом уже полученные строки могут остаться в CSV.
Как найти свой сайт в поисковой выдаче
Допустим, вы хотите найти свой домен в собранных результатах. Для этого не нужно повторно запрашивать Яндекс. Достаточно открыть готовый CSV и проверить ссылки.
Создайте файл check_results.py:
import csv
from urllib.parse import urlparse
TARGET_DOMAIN = "example.com"
with open("yandex_serp_results.csv", encoding="utf-8-sig", newline="") as file:
for row in csv.DictReader(file):
hostname = (urlparse(row["url"]).hostname or "").lower()
if hostname == TARGET_DOMAIN or hostname.endswith("." + TARGET_DOMAIN):
print(
f"Запрос: {row['keyword']} | "
f"Порядок: {row['extracted_order']} | "
f"URL: {row['url']}"
)
В коде замените example.com на свой домен. Затем запустите проверку:
python3 check_results.py
Скрипт покажет поисковые фразы и найденные URL вашего сайта. Он также выведет их порядок в CSV.
Важно: extracted_order не всегда означает точную позицию в Яндексе. Парсер может пропустить отдельные карточки. Поэтому перед расчетом позиций сравните результат с исходным HTML.
Как парсить Яндекс по регионам
Выдача Яндекса может отличаться в разных городах. Для выбора региона используется параметр lr.
| Регион | ID |
|---|---|
| Москва | 213 |
| Санкт-Петербург | 2 |
| Россия | 225 |
Например, для Санкт-Петербурга установите:
REGION = 2
При сравнении регионов используйте одинаковые ключевые фразы и другие настройки. Учитывайте, что на выдачу также могут влиять сессия и персонализация.
Как следить за изменениями выдачи
Запускайте парсер каждый день, раз в неделю или раз в месяц. Сохраняйте каждый CSV под отдельным именем. Добавьте дату в название файла.
Затем сравнивайте результаты. Так можно увидеть новые сайты в выдаче. Также можно заметить изменения заголовков и описаний.
Если данных много, сохраняйте их в базе. Для каждого запроса указывайте фразу, регион, полный URL и время проверки.
Возможные ошибки при парсинге Яндекса
API возвращает HTTP 401 или 402. Проверьте API-ключ и баланс. Причина ошибки зависит от ответа сервиса.
API возвращает HTTP 408. Задача еще может выполняться. Сохраните response_id и получите результат по нему. Не отправляйте тот же запрос повторно как новую задачу.
Яндекс показывает капчу. Иногда страница имеет HTTP-код 200, но содержит проверку вместо выдачи. Проверяйте сам HTML, а не только код ответа.
Скрипт не находит карточки. Возможно, Яндекс изменил HTML. Откройте сохраненную страницу и проверьте CSS-селекторы.
В результатах не хватает ссылок. Скрипт исключает рекламу. Он также пропускает неизвестные карточки. Проверьте сообщения в терминале и столбец needs_review.
Результаты отличаются от ручной проверки. Сначала проверьте параметр lr. Затем сравните остальные настройки поиска. Выдача может зависеть и от сессии.
Часто задаваемые вопросы
Можно ли парсить Яндекс без Selenium?
Да. RuCaptcha Scraper API загружает страницу. Python получает HTML и читает его через BeautifulSoup. Локальный браузер не нужен.
Есть ли у RuCaptcha готовый метод для выдачи Яндекса?
В этом Scraper API нет отдельного метода для получения готовых позиций Яндекса. Используйте задачу scrape. Затем извлеките результаты из HTML с помощью Python.
Можно ли собрать топ-100 Яндекса?
Можно запросить несколько страниц выдачи через параметр p. Но число и вид результатов могут меняться. Если нужны точные позиции, проверьте порядок всех органических карточек.
Чем Scraper API отличается от Browser API?
Scraper API загружает страницу по URL и возвращает ее содержимое. Browser API дает доступ к удаленному браузеру. Им можно управлять через Playwright или другие инструменты.
Для обычной загрузки HTML подходит Scraper API. Если нужно войти в аккаунт или нажимать кнопки, может потребоваться Browser API.
Заключение
Парсер Яндекса упрощает сбор поисковой выдачи. Он помогает изучать конкурентов и сравнивать результаты по запросам и регионам.
RuCaptcha Scraper API загружает HTML. Python извлекает нужные данные, исключает рекламу и сохраняет результаты в CSV.
Перед использованием данных для отчета проверьте порядок ссылок и полноту органической выдачи.
=
Обсуждение