Первый запуск парсера проходит чисто, второй добавляет те же товары ещё раз, третий — ещё. Причина не в парсере, а в отсутствии правила, по которому запись считается той же самой.
Что считать дублем
Нужен стабильный ключ. Варианты по надёжности:
- внешний id —
data-id, артикул, id в API; лучшее решение; - нормализованный URL — если id нет и страница одна на объект;
- хэш содержимого — когда ни id, ни URL не стабильны;
- комбинация полей — название + город + цена, но цена меняется.
Ключ должен переживать косметические изменения страницы. Порядок параметров в URL и utm_-метки не должны создавать новый объект.
Нормализация URL
function normalizeUrl(string $url): string
{
$parts = parse_url(trim($url));
$host = strtolower($parts['host'] ?? '');
$path = rtrim($parts['path'] ?? '/', '/') ?: '/';
parse_str($parts['query'] ?? '', $query);
unset($query['utm_source'], $query['utm_medium'], $query['utm_campaign'], $query['yclid']);
ksort($query);
$query = http_build_query($query);
return 'https://' . $host . $path . ($query ? '?' . $query : '');
}
Уберите якорь, приведите хост к нижнему регистру, отсортируйте параметры. Если сайт отдаёт один товар по нескольким адресам, ориентируйтесь на canonical со страницы.
Хэш содержимого
Хэш всего HTML бесполезен: меняется реклама, счётчики и время. Считайте отпечаток только значимых полей:
$payload = json_encode([
'title' => $item['title'],
'price' => $item['price'],
'sku' => $item['sku'],
], JSON_UNESCAPED_UNICODE);
$hash = hash('sha256', $payload);
Хэш полезен для отслеживания изменений: если он тот же, обновлять запись не нужно. Но как первичный ключ он опасен: правка описания создаст «новый» товар.
Уникальный индекс
Проверка «есть ли запись» в коде не спасает от гонок: два воркера могут одновременно не найти товар и оба вставить. Защита — уникальный индекс в базе:
ALTER TABLE products
ADD COLUMN external_id VARCHAR(64) NULL,
ADD UNIQUE KEY uniq_source_external (source_id, external_id);
Тогда вставка дубля завершится ошибкой, и её нужно обработать, а не игнорировать молча.
Upsert вместо updateOrCreate
updateOrCreate() делает два запроса и всё равно уязвим к гонке. upsert() выполняет один атомарный запрос:
Product::upsert(
$rows,
['source_id', 'external_id'],
['title', 'price', 'url', 'updated_at']
);
MySQL использует INSERT ... ON DUPLICATE KEY UPDATE, PostgreSQL — ON CONFLICT. Ограничение: уникальность должна быть выражена индексом, иначе база не поймёт, что считать конфликтом.
Слияние и очистка
Дубли всё равно появляются: сменился источник, поменялся формат id, старый парсер писал без ключа. Раз в месяц полезно искать группы с одинаковым нормализованным URL и оставлять самую полную запись.
При слиянии решите, какие поля главнее: свежая цена обычно важнее старого описания. Сохраните историю изменений, иначе откатить ошибку будет нечем.
Пишите статистику каждого прохода: сколько записей создано, обновлено, пропущено и отклонено. Резкий рост «создано» почти всегда означает, что сломался ключ дедупликации, а не что появились новые товары.
Обновляйте только изменившиеся записи. Сравнение по хэшу значимых полей экономит запросы и не плодит лишние записи в истории. Для больших пачек используйте upsert порциями по 500–1000 строк, чтобы не упереться в лимит пакета.
Если источник отдаёт страницы по sitemap.xml, берите адреса оттуда — это снижает риск дублей из пагинации. О таком обходе — отдельная статья, о разборе JSON — парсинг JSON API.
Заведите отдельную таблицу для «сырых» данных источника: она поможет восстановить картину, если нормализация окажется ошибочной. Храните исходный URL, дату и хэш — по ним можно пересобрать записи без повторного обхода. И не удаляйте дубли сразу: сначала пометьте, потом сверьте с источником.
Логируйте, по какому ключу найдено совпадение. Если большая часть записей матчится по хэшу, а не по external_id, стоит проверить, не теряется ли идентификатор при разборе. Иначе однажды хэш изменится вместе с описанием, и товар задублируется.
Отдельно храните причину отклонения записи: «нет ключа», «битая цена», «дубль по URL» — это разные проблемы, и лечатся они по-разному.
Коротко
- без стабильного ключа дедупликация невозможна;
- URL нормализуйте: хост, слэш, параметры, якорь;
- хэш считайте по значимым полям, а не по всему HTML;
- уникальный индекс — единственная защита от гонок;
upsert()быстрее и атомарнееupdateOrCreate().