Обходить сайт по ссылкам долго и легко уйти в паутину фильтров и пагинации. Если у сайта есть sitemap.xml, считайте, что половина работы сделана: там перечислены страницы, которые владелец хочет показать поисковикам.

Где искать карту

Стандартный адрес — /sitemap.xml. Дополнительно проверьте robots.txt: строка Sitemap: указывает на актуальный файл, иногда не в корне. Бывает и индекс карт — sitemap_index.xml, который ссылается на десятки дочерних файлов.

Ленты новостей и товарные фиды часто лежат отдельно: /news-sitemap.xml, /product-feed.xml. Они тоже подходят, если формат совпадает.

Разбор XML

$xml = simplexml_load_file('https://example.ru/sitemap.xml');
$urls = [];

foreach ($xml->url as $entry) {
    $urls[] = [
        'loc' => (string) $entry->loc,
        'lastmod' => (string) $entry->lastmod,
    ];
}

Для индекса структура другая: вместо url — sitemap с loc. Проверяйте оба варианта, иначе на большом сайте получите пустой массив.

Gzip

Карты часто отдают сжатыми: sitemap.xml.gz. simplexml_load_file() не распакует gzip автоматически. Скачайте файл и распакуйте:

$raw = file_get_contents($url);
$xmlString = str_ends_with($url, '.gz') ? gzdecode($raw) : $raw;

$xml = simplexml_load_string($xmlString);
if ($xml === false) {
    throw new RuntimeException('Некорректный sitemap');
}

Расширение не всегда совпадает с содержимым. Если gzdecode() вернул false, проверьте первые байты: gzip начинается с \x1f\x8b.

lastmod и приоритеты

lastmod помогает при повторных запусках: берите только страницы, изменённые после прошлого обхода. Но ему нельзя верить слепо — часть CMS ставит текущую дату всем записям.

priority и changefreq поисковики давно игнорируют. Для парсера они тоже бесполезны: сортируйте по lastmod или по URL.

Проверка страниц

Не все адреса из карты стоит сохранять. Отфильтруйте:

  • редиректы (3xx) — берите конечный адрес;
  • страницы с noindex в meta или X-Robots-Tag;
  • дубли по canonical, если он указывает на другой URL;
  • 404 и 410;
  • URL с параметрами сортировки и фильтрами.

Проверка canonical особенно важна для каталогов: карта может содержать региональные версии одной страницы.

Очередь и повторные запуски

Складывайте найденные адреса в таблицу со статусом: new, done, failed. Тогда обход можно прервать и продолжить, а не начинать с нуля. Уникальный индекс по нормализованному URL не даст задвоить страницы.

CREATE TABLE crawl_queue (
  id BIGINT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
  url VARCHAR(2048) NOT NULL,
  status ENUM('new','done','failed') NOT NULL DEFAULT 'new',
  attempts TINYINT NOT NULL DEFAULT 0,
  updated_at DATETIME NULL,
  UNIQUE KEY uniq_url (url(700))
);

Храните код ответа и дату последней попытки. Страницы, которые отдают 500 три раза подряд, лучше исключить до следующего месяца.

Вежливость

Карта сайта — приглашение к обходу, но не разрешение качать всё одновременно. Один-два параллельных запроса, пауза между ними, уважение к Retry-After и robots.txt. Если сайт большой, растяните обход на ночь.

О правовых ограничениях — статья robots.txt и этичный парсинг. О разборе самих страниц — DomCrawler и CSS-селекторы.

Индекс карт обрабатывайте рекурсивно: sitemapindex может ссылаться на другие индексы. Ограничьте глубину, чтобы не уйти в цикл из-за ошибки на сайте. Дочерние файлы часто лежат в /sitemaps/ и отдают application/xml.

Проверяйте пространство имён: некоторые генераторы добавляют префикс, и обращение $xml->url не находит элементы. Используйте children() с нужным namespace или XPath с локальным именем.

Сохраняйте дату обхода и код ответа для каждого URL. Это позволяет повторять только неудачные страницы и не перекачивать сайт целиком ради нескольких новых адресов.

Сравнивайте карту с реальной навигацией: иногда в ней есть страницы, закрытые от индексации, или наоборот — отсутствуют новые разделы. Расхождение подсказывает, что генератор карты настроен неверно. И не считайте карту истиной в последней инстанции: владелец мог её не обновлять месяцами.

Если карта отдаёт 403 или 404, не обходите сайт вслепую: возможно, владелец закрыл её намеренно. Проверьте robots.txt и условия использования, прежде чем искать обходные пути.

Для отладки сохраняйте XML на диск: повторный разбор файла быстрее и не создаёт лишнюю нагрузку на чужой сервер.

Коротко

  • sitemap даёт готовый список URL, включая скрытые от навигации;
  • индекс карт и gzip нужно обрабатывать отдельно;
  • lastmod полезен, но требует доверия к источнику;
  • фильтруйте редиректы, noindex, canonical и ошибки;
  • очередь в базе делает обход возобновляемым.