Первый запуск парсера проходит чисто, второй добавляет те же товары ещё раз, третий — ещё. Причина не в парсере, а в отсутствии правила, по которому запись считается той же самой.

Что считать дублем

Нужен стабильный ключ. Варианты по надёжности:

  • внешний id — data-id, артикул, id в API; лучшее решение;
  • нормализованный URL — если id нет и страница одна на объект;
  • хэш содержимого — когда ни id, ни URL не стабильны;
  • комбинация полей — название + город + цена, но цена меняется.

Ключ должен переживать косметические изменения страницы. Порядок параметров в URL и utm_-метки не должны создавать новый объект.

Нормализация URL

function normalizeUrl(string $url): string
{
    $parts = parse_url(trim($url));
    $host = strtolower($parts['host'] ?? '');
    $path = rtrim($parts['path'] ?? '/', '/') ?: '/';

    parse_str($parts['query'] ?? '', $query);
    unset($query['utm_source'], $query['utm_medium'], $query['utm_campaign'], $query['yclid']);

    ksort($query);
    $query = http_build_query($query);

    return 'https://' . $host . $path . ($query ? '?' . $query : '');
}

Уберите якорь, приведите хост к нижнему регистру, отсортируйте параметры. Если сайт отдаёт один товар по нескольким адресам, ориентируйтесь на canonical со страницы.

Хэш содержимого

Хэш всего HTML бесполезен: меняется реклама, счётчики и время. Считайте отпечаток только значимых полей:

$payload = json_encode([
    'title' => $item['title'],
    'price' => $item['price'],
    'sku'   => $item['sku'],
], JSON_UNESCAPED_UNICODE);

$hash = hash('sha256', $payload);

Хэш полезен для отслеживания изменений: если он тот же, обновлять запись не нужно. Но как первичный ключ он опасен: правка описания создаст «новый» товар.

Уникальный индекс

Проверка «есть ли запись» в коде не спасает от гонок: два воркера могут одновременно не найти товар и оба вставить. Защита — уникальный индекс в базе:

ALTER TABLE products
  ADD COLUMN external_id VARCHAR(64) NULL,
  ADD UNIQUE KEY uniq_source_external (source_id, external_id);

Тогда вставка дубля завершится ошибкой, и её нужно обработать, а не игнорировать молча.

Upsert вместо updateOrCreate

updateOrCreate() делает два запроса и всё равно уязвим к гонке. upsert() выполняет один атомарный запрос:

Product::upsert(
    $rows,
    ['source_id', 'external_id'],
    ['title', 'price', 'url', 'updated_at']
);

MySQL использует INSERT ... ON DUPLICATE KEY UPDATE, PostgreSQL — ON CONFLICT. Ограничение: уникальность должна быть выражена индексом, иначе база не поймёт, что считать конфликтом.

Слияние и очистка

Дубли всё равно появляются: сменился источник, поменялся формат id, старый парсер писал без ключа. Раз в месяц полезно искать группы с одинаковым нормализованным URL и оставлять самую полную запись.

При слиянии решите, какие поля главнее: свежая цена обычно важнее старого описания. Сохраните историю изменений, иначе откатить ошибку будет нечем.

Пишите статистику каждого прохода: сколько записей создано, обновлено, пропущено и отклонено. Резкий рост «создано» почти всегда означает, что сломался ключ дедупликации, а не что появились новые товары.

Обновляйте только изменившиеся записи. Сравнение по хэшу значимых полей экономит запросы и не плодит лишние записи в истории. Для больших пачек используйте upsert порциями по 500–1000 строк, чтобы не упереться в лимит пакета.

Если источник отдаёт страницы по sitemap.xml, берите адреса оттуда — это снижает риск дублей из пагинации. О таком обходе — отдельная статья, о разборе JSON — парсинг JSON API.

Заведите отдельную таблицу для «сырых» данных источника: она поможет восстановить картину, если нормализация окажется ошибочной. Храните исходный URL, дату и хэш — по ним можно пересобрать записи без повторного обхода. И не удаляйте дубли сразу: сначала пометьте, потом сверьте с источником.

Логируйте, по какому ключу найдено совпадение. Если большая часть записей матчится по хэшу, а не по external_id, стоит проверить, не теряется ли идентификатор при разборе. Иначе однажды хэш изменится вместе с описанием, и товар задублируется.

Отдельно храните причину отклонения записи: «нет ключа», «битая цена», «дубль по URL» — это разные проблемы, и лечатся они по-разному.

Коротко

  • без стабильного ключа дедупликация невозможна;
  • URL нормализуйте: хост, слэш, параметры, якорь;
  • хэш считайте по значимым полям, а не по всему HTML;
  • уникальный индекс — единственная защита от гонок;
  • upsert() быстрее и атомарнее updateOrCreate().