Пагинация кажется простой: подставляй номер страницы, пока не кончатся результаты. На практике цикл может уйти в бесконечность, собрать дубли или оборваться на середине из-за блокировки.

Какие бывают пагинации

  • Номер страницы: ?page=2 — самый частый вариант;
  • Смещение: ?offset=40&limit=20 — часто в API;
  • Курсор: ?after=ID — устойчив к вставкам, но требует понимания формата;
  • «Показать ещё»: данные подгружаются AJAX, номер страницы скрыт.

Как понять, что страницы кончились

Надёжнее ориентироваться не на номер последней страницы, а на содержимое. Признаки конца: пустой список, повторение предыдущего набора, отсутствие новых ссылок. Если сайт отдаёт 200 на несуществующую страницу с тем же контентом, счётчик страниц обманет.

$seen = [];
$page = 1;

while ($page <= 100) {
    $html = fetchPage($page);
    $links = extractLinks($html);

    if ($links === []) {
        break;
    }

    $new = array_values(array_filter($links, fn ($url) => ! isset($seen[$url])));

    if ($new === []) {
        break;
    }

    foreach ($new as $url) {
        $seen[$url] = true;
    }

    $page++;
    usleep(random_int(400000, 900000));
}

Дедупликация

Один и тот же товар может появиться на нескольких страницах из-за сортировки или рекламы. Храните ключ — URL, артикул или ID — и пропускайте повторы. Для больших объёмов используйте таблицу с уникальным индексом, а не массив в памяти.

Задержки и повторы

Не отправляйте запросы вплотную: добавьте паузу 0.5–2 секунды и случайный разброс. При 429 или 503 сделайте паузу и повтор с увеличением интервала. Ограничьте число попыток, иначе цикл застрянет на одной странице.

function fetchWithRetry(string $url, int $attempts = 3): string
{
    for ($i = 1; $i <= $attempts; $i++) {
        $response = httpGet($url);

        if ($response->ok()) {
            return $response->body();
        }

        sleep(2 * $i);
    }

    throw new RuntimeException('Не удалось загрузить: ' . $url);
}

Заголовки и поведение

Укажите нормальный User-Agent, Accept-Language и Referer, если сайт их проверяет. Не маскируйтесь под поискового бота: это нарушает правила и часто приводит к бану. Соблюдайте robots.txt и условия сайта.

Прогресс и возобновление

Сохраняйте номер страницы и обработанные ключи после каждой итерации. Если скрипт упадёт, вы продолжите с места, а не с начала. Для больших каталогов полезен чекпоинт в файле или таблице.

Типичные ошибки

  • цикл до «последней страницы», которая на самом деле всегда 200;
  • нет дедупликации — в базе дубли;
  • слишком частые запросы и бан по IP;
  • парсинг только первой страницы из-за неправильного селектора;
  • сохранение «сырого» HTML без повторной проверки структуры.

Коротко

  • останавливайтесь по отсутствию новых данных;
  • дедуплицируйте по устойчивому ключу;
  • делайте паузы и повторы с backoff;
  • сохраняйте прогресс;
  • уважайте правила сайта.