Обходить сайт по ссылкам долго и легко уйти в паутину фильтров и пагинации. Если у сайта есть sitemap.xml, считайте, что половина работы сделана: там перечислены страницы, которые владелец хочет показать поисковикам.
Где искать карту
Стандартный адрес — /sitemap.xml. Дополнительно проверьте robots.txt: строка Sitemap: указывает на актуальный файл, иногда не в корне. Бывает и индекс карт — sitemap_index.xml, который ссылается на десятки дочерних файлов.
Ленты новостей и товарные фиды часто лежат отдельно: /news-sitemap.xml, /product-feed.xml. Они тоже подходят, если формат совпадает.
Разбор XML
$xml = simplexml_load_file('https://example.ru/sitemap.xml');
$urls = [];
foreach ($xml->url as $entry) {
$urls[] = [
'loc' => (string) $entry->loc,
'lastmod' => (string) $entry->lastmod,
];
}
Для индекса структура другая: вместо url — sitemap с loc. Проверяйте оба варианта, иначе на большом сайте получите пустой массив.
Gzip
Карты часто отдают сжатыми: sitemap.xml.gz. simplexml_load_file() не распакует gzip автоматически. Скачайте файл и распакуйте:
$raw = file_get_contents($url);
$xmlString = str_ends_with($url, '.gz') ? gzdecode($raw) : $raw;
$xml = simplexml_load_string($xmlString);
if ($xml === false) {
throw new RuntimeException('Некорректный sitemap');
}
Расширение не всегда совпадает с содержимым. Если gzdecode() вернул false, проверьте первые байты: gzip начинается с \x1f\x8b.
lastmod и приоритеты
lastmod помогает при повторных запусках: берите только страницы, изменённые после прошлого обхода. Но ему нельзя верить слепо — часть CMS ставит текущую дату всем записям.
priority и changefreq поисковики давно игнорируют. Для парсера они тоже бесполезны: сортируйте по lastmod или по URL.
Проверка страниц
Не все адреса из карты стоит сохранять. Отфильтруйте:
- редиректы (3xx) — берите конечный адрес;
- страницы с
noindexв meta илиX-Robots-Tag; - дубли по
canonical, если он указывает на другой URL; - 404 и 410;
- URL с параметрами сортировки и фильтрами.
Проверка canonical особенно важна для каталогов: карта может содержать региональные версии одной страницы.
Очередь и повторные запуски
Складывайте найденные адреса в таблицу со статусом: new, done, failed. Тогда обход можно прервать и продолжить, а не начинать с нуля. Уникальный индекс по нормализованному URL не даст задвоить страницы.
CREATE TABLE crawl_queue (
id BIGINT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
url VARCHAR(2048) NOT NULL,
status ENUM('new','done','failed') NOT NULL DEFAULT 'new',
attempts TINYINT NOT NULL DEFAULT 0,
updated_at DATETIME NULL,
UNIQUE KEY uniq_url (url(700))
);
Храните код ответа и дату последней попытки. Страницы, которые отдают 500 три раза подряд, лучше исключить до следующего месяца.
Вежливость
Карта сайта — приглашение к обходу, но не разрешение качать всё одновременно. Один-два параллельных запроса, пауза между ними, уважение к Retry-After и robots.txt. Если сайт большой, растяните обход на ночь.
О правовых ограничениях — статья robots.txt и этичный парсинг. О разборе самих страниц — DomCrawler и CSS-селекторы.
Индекс карт обрабатывайте рекурсивно: sitemapindex может ссылаться на другие индексы. Ограничьте глубину, чтобы не уйти в цикл из-за ошибки на сайте. Дочерние файлы часто лежат в /sitemaps/ и отдают application/xml.
Проверяйте пространство имён: некоторые генераторы добавляют префикс, и обращение $xml->url не находит элементы. Используйте children() с нужным namespace или XPath с локальным именем.
Сохраняйте дату обхода и код ответа для каждого URL. Это позволяет повторять только неудачные страницы и не перекачивать сайт целиком ради нескольких новых адресов.
Сравнивайте карту с реальной навигацией: иногда в ней есть страницы, закрытые от индексации, или наоборот — отсутствуют новые разделы. Расхождение подсказывает, что генератор карты настроен неверно. И не считайте карту истиной в последней инстанции: владелец мог её не обновлять месяцами.
Если карта отдаёт 403 или 404, не обходите сайт вслепую: возможно, владелец закрыл её намеренно. Проверьте robots.txt и условия использования, прежде чем искать обходные пути.
Для отладки сохраняйте XML на диск: повторный разбор файла быстрее и не создаёт лишнюю нагрузку на чужой сервер.
Коротко
- sitemap даёт готовый список URL, включая скрытые от навигации;
- индекс карт и gzip нужно обрабатывать отдельно;
lastmodполезен, но требует доверия к источнику;- фильтруйте редиректы, noindex, canonical и ошибки;
- очередь в базе делает обход возобновляемым.