Перед запуском парсера полезно ответить на два вопроса: разрешает ли сайт обход и не создаёт ли ваша нагрузка проблем. Первый регулируется файлом robots.txt и условиями использования, второй — здравым смыслом и лимитами сервера.

Что такое robots.txt и чего он не делает

robots.txt — текстовый файл в корне сайта, который сообщает автоматическим клиентам, какие разделы обходить не нужно. С 2022 года это стандарт RFC 9309. Файл не является средством защиты: он не скрывает страницу и не запрещает доступ. Парсер, который его игнорирует, всё равно получит данные.

Именно поэтому закрытые разделы защищают авторизацией, а не записью Disallow. robots.txt — вежливая просьба, а не замок.

Синтаксис

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/about
Crawl-delay: 1
Sitemap: https://example.ru/sitemap.xml

User-agent задаёт группу правил. Disallow перечисляет пути, которые обходить не следует, Allow — исключения. Пустой Disallow: означает «можно всё». Sitemap указывает карту сайта с абсолютным адресом.

Директивы чувствительны к регистру путей: /Admin/ и /admin/ — разные адреса. Сам User-agent сравнивается без учёта регистра.

Маски и приоритеты

Поддерживаются * — любая последовательность символов и $ — конец адреса. Запись Disallow: /*.pdf$ закроет PDF-файлы, но не страницу /doc.pdf.html.

Если несколько правил подходят к адресу, побеждает более конкретное — то, у которого длиннее совпавшая часть пути. При равной длине обычно выигрывает Allow. Это важно: одна строка Allow: /catalog/ может перекрыть общий запрет Disallow: /, если она специфичнее.

Не все клиенты одинаково понимают маски. Простые самописные парсеры часто читают только точные префиксы. Если вы пишете свой обходчик, ориентируйтесь на RFC, а не на «примерно так».

Crawl-delay и вежливость

Crawl-delay задаёт минимальный интервал между запросами в секундах. Яндекс его поддерживает, Google — нет, поэтому полагаться только на директиву нельзя. Даже если её нет, не стоит отправлять десять запросов в секунду: сервер может не выдержать.

Практичные правила:

  • один-два параллельных соединения на небольшой сайт;
  • пауза 0,5–2 секунды между запросами;
  • обход в ночное время, если данных много;
  • уважение к Retry-After при ответе 429;
  • кэширование уже скачанных страниц, чтобы не ходить дважды.

Отдельно про 5xx: если сервер отвечает ошибками, это повод остановиться и подождать, а не повторять запрос в цикле. Иначе вы добавляете нагрузку в момент, когда сайт и так плохо работает.

robots meta и X-Robots-Tag

Запрет можно задать и на уровне страницы: <meta name="robots" content="noindex, nofollow"> или заголовком X-Robots-Tag. Для поисковых роботов это указание не индексировать страницу и не переходить по ссылкам. Для парсера данных это сигнал, что владелец не хочет видеть содержимое в индексе, — стоит задуматься, нужна ли выгрузка.

noindex не запрещает скачивание. Если страница отдаётся публично, технически вы её получите. Вопрос уже этический и юридический, а не технический.

Что говорит закон

Условия использования сайта — это договор. Массовая выгрузка может нарушать его, даже если страницы открыты. В России отдельно охраняются базы данных (смежные права), а персональные данные регулируются 152-ФЗ: их сбор, хранение и обработка требуют оснований.

Авторские права на тексты и фотографии не переходят к вам от факта скачивания. Публиковать чужой контент у себя нельзя. Если планируется коммерческое использование, лучше получить письменное разрешение.

Это не юридическая консультация: в спорной ситуации нужен юрист, а не статья. Но базовое правило простое — открытый доступ не равен разрешению на любое использование.

Чего не делать

  • не обходить CAPTCHA, авторизацию и платные разделы;
  • не подделывать User-Agent поискового робота;
  • не менять IP, чтобы обойти блокировку или лимит;
  • не создавать нагрузку, сравнимую с DDoS;
  • не собирать персональные данные без законного основания;
  • не публиковать чужие тексты и изображения.

Если сайт явно против автоматического доступа, правильный путь — договориться об официальном API или купить данные. Технические обходы почти всегда заканчиваются блокировкой и репутационными потерями.

Как выглядит вежливый парсер

Он представляется в User-Agent и оставляет контакт, соблюдает robots.txt, ходит с паузами, кэширует ответы и умеет останавливаться при ошибках. Он не пытается выглядеть как браузер, если это не требуется для получения публичной страницы, и не скрывает факт автоматического запроса.

Технические приёмы обхода пагинации разобраны в статье парсинг пагинации на PHP, а работа с внутренними эндпоинтами — в материале парсинг JSON API. Если нужен разбор HTML, пригодится XPath для парсинга HTML.

Коротко

  • robots.txt — просьба, а не защита;
  • побеждает более конкретное правило, Allow может перекрыть Disallow;
  • Crawl-delay поддерживают не все, паузы нужны в любом случае;
  • условия использования и закон действуют независимо от формата данных;
  • вежливый парсер идентифицирует себя и умеет останавливаться.