Пагинация кажется простой: подставляй номер страницы, пока не кончатся результаты. На практике цикл может уйти в бесконечность, собрать дубли или оборваться на середине из-за блокировки.
Какие бывают пагинации
- Номер страницы:
?page=2— самый частый вариант; - Смещение:
?offset=40&limit=20— часто в API; - Курсор:
?after=ID— устойчив к вставкам, но требует понимания формата; - «Показать ещё»: данные подгружаются AJAX, номер страницы скрыт.
Как понять, что страницы кончились
Надёжнее ориентироваться не на номер последней страницы, а на содержимое. Признаки конца: пустой список, повторение предыдущего набора, отсутствие новых ссылок. Если сайт отдаёт 200 на несуществующую страницу с тем же контентом, счётчик страниц обманет.
$seen = [];
$page = 1;
while ($page <= 100) {
$html = fetchPage($page);
$links = extractLinks($html);
if ($links === []) {
break;
}
$new = array_values(array_filter($links, fn ($url) => ! isset($seen[$url])));
if ($new === []) {
break;
}
foreach ($new as $url) {
$seen[$url] = true;
}
$page++;
usleep(random_int(400000, 900000));
}
Дедупликация
Один и тот же товар может появиться на нескольких страницах из-за сортировки или рекламы. Храните ключ — URL, артикул или ID — и пропускайте повторы. Для больших объёмов используйте таблицу с уникальным индексом, а не массив в памяти.
Задержки и повторы
Не отправляйте запросы вплотную: добавьте паузу 0.5–2 секунды и случайный разброс. При 429 или 503 сделайте паузу и повтор с увеличением интервала. Ограничьте число попыток, иначе цикл застрянет на одной странице.
function fetchWithRetry(string $url, int $attempts = 3): string
{
for ($i = 1; $i <= $attempts; $i++) {
$response = httpGet($url);
if ($response->ok()) {
return $response->body();
}
sleep(2 * $i);
}
throw new RuntimeException('Не удалось загрузить: ' . $url);
}
Заголовки и поведение
Укажите нормальный User-Agent, Accept-Language и Referer, если сайт их проверяет. Не маскируйтесь под поискового бота: это нарушает правила и часто приводит к бану. Соблюдайте robots.txt и условия сайта.
Прогресс и возобновление
Сохраняйте номер страницы и обработанные ключи после каждой итерации. Если скрипт упадёт, вы продолжите с места, а не с начала. Для больших каталогов полезен чекпоинт в файле или таблице.
Типичные ошибки
- цикл до «последней страницы», которая на самом деле всегда 200;
- нет дедупликации — в базе дубли;
- слишком частые запросы и бан по IP;
- парсинг только первой страницы из-за неправильного селектора;
- сохранение «сырого» HTML без повторной проверки структуры.
Коротко
- останавливайтесь по отсутствию новых данных;
- дедуплицируйте по устойчивому ключу;
- делайте паузы и повторы с backoff;
- сохраняйте прогресс;
- уважайте правила сайта.