Сайт отдаёт пустой <div id="app"></div>, а в браузере видны товары, отзывы и цены. Значит, данные приходят отдельным запросом или собираются на клиенте. Прежде чем запускать браузер, стоит понять, откуда они берутся.
Проверка за две минуты
Откройте страницу с отключённым JavaScript или посмотрите исходный код (Ctrl+U). Если нужных данных нет — контент рендерится скриптом. Дальше включите DevTools, вкладку Network, фильтр Fetch/XHR и обновите страницу.
Часто рядом лежит JSON-ответ с полным списком. В этом случае браузер не нужен: работайте с эндпоинтом, как описано в статье парсинг JSON API.
Next.js, Nuxt и встроенное состояние
Современные фреймворки часто кладут данные прямо в HTML, чтобы страница быстрее ожила. Ищите __NEXT_DATA__ у Next.js или window.__NUXT__ у Nuxt. Это тот же JSON, только внутри страницы:
preg_match('#<script id="__NEXT_DATA__" type="application/json">(.+?)</script>#s', $html, $m);
$data = json_decode($m[1], true, 512, JSON_THROW_ON_ERROR);
Способ хрупкий: формат может измениться после обновления фреймворка. Зато не требует браузера и работает в сотни раз быстрее. Всегда добавляйте проверку структуры и запасной путь.
Когда без браузера не обойтись
Если данные собираются из нескольких запросов, зависят от входа или генерируются на клиенте, остаётся headless-браузер. Популярные варианты — Playwright (Node, Python) и Puppeteer. В PHP-проекте проще вынести рендеринг в отдельный Node-сервис и отдавать готовый HTML по HTTP.
const { chromium } = require('playwright');
const browser = await chromium.launch();
const page = await browser.newPage();
await page.goto(url, { waitUntil: 'domcontentloaded' });
await page.waitForSelector('.product-card');
const items = await page.$$eval('.product-card', nodes => nodes.map(node => ({
title: node.querySelector('h3')?.textContent.trim(),
price: node.querySelector('.price')?.textContent.trim(),
})));
await browser.close();
Ключевой момент — waitForSelector. Без него вы получите HTML до подгрузки данных. networkidle иногда помогает, но на сайтах с аналитикой и опросами он может ждать бесконечно.
Ресурсы и стабильность
- один браузер на пачку страниц, новые вкладки — в одном контексте;
- блокируйте картинки, шрифты и медиа, если они не нужны;
- ставьте таймауты на навигацию и селекторы;
- закрывайте браузер в
finally, иначе процессы накопятся; - на сервере без графики используйте headless-режим и достаньте зависимости.
Память — главный ограничитель. Один Chromium легко занимает сотни мегабайт, поэтому на shared-хостинге такой парсинг почти всегда неуместен.
Этика и ограничения
Headless-браузер не даёт права обходить защиту. Если сайт требует вход, показывает CAPTCHA или явно запрещает автоматический доступ в условиях, техническая возможность не делает это допустимым. Соблюдайте robots.txt, ставьте паузы и не создавайте нагрузку, сравнимую с атакой.
Идентифицируйте себя в User-Agent. Если данных нужно много, договоритесь об официальном доступе: это дешевле, чем поддерживать парсер против постоянных изменений вёрстки.
В PHP-проекте не обязательно тащить Node в продакшен: для сложных случаев есть Symfony Panther — тот же принцип, но управление браузером из PHP. Минус — зависимость от Chrome и больше памяти. Выбирайте по инфраструктуре, а не по вкусу.
Сохраняйте HTML и скриншот при падении селектора. Через месяц без них невозможно понять, что именно сломалось: сайт изменил разметку, включил защиту или вернул страницу-заглушку с кодом 200.
Проверяйте, что парсер не ходит по одним и тем же адресам: пагинация с параметром page легко зацикливается. Уникальный индекс по URL и лимит страниц спасают от бесконечного обхода — см. дедупликацию при парсинге.
Оценивайте стоимость до запуска: браузер на каждый URL — это секунды и сотни мегабайт. Если страниц тысячи, сначала посчитайте, сколько времени займёт обход, и сравните с вариантом через API. Часто оказывается, что 90% данных доступны обычным HTTP-запросом, а браузер нужен лишь для нескольких страниц.
Логируйте время на страницу и долю успешных разборов. Рост времени обычно означает, что сайт включил защиту или стал тяжелее, а не что интернет замедлился. По этим числам видно, когда пора переходить на API.
Коротко
- сначала проверьте исходный код и Network — часто есть JSON;
- Next.js и Nuxt могут отдавать данные внутри HTML;
- браузер нужен, когда данные появляются только после выполнения скриптов;
- ждём конкретный селектор, а не «тишину сети»;
- обходить защиты и CAPTCHA нельзя.