Перед запуском парсера полезно ответить на два вопроса: разрешает ли сайт обход и не создаёт ли ваша нагрузка проблем. Первый регулируется файлом robots.txt и условиями использования, второй — здравым смыслом и лимитами сервера.
Что такое robots.txt и чего он не делает
robots.txt — текстовый файл в корне сайта, который сообщает автоматическим клиентам, какие разделы обходить не нужно. С 2022 года это стандарт RFC 9309. Файл не является средством защиты: он не скрывает страницу и не запрещает доступ. Парсер, который его игнорирует, всё равно получит данные.
Именно поэтому закрытые разделы защищают авторизацией, а не записью Disallow. robots.txt — вежливая просьба, а не замок.
Синтаксис
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/about
Crawl-delay: 1
Sitemap: https://example.ru/sitemap.xml
User-agent задаёт группу правил. Disallow перечисляет пути, которые обходить не следует, Allow — исключения. Пустой Disallow: означает «можно всё». Sitemap указывает карту сайта с абсолютным адресом.
Директивы чувствительны к регистру путей: /Admin/ и /admin/ — разные адреса. Сам User-agent сравнивается без учёта регистра.
Маски и приоритеты
Поддерживаются * — любая последовательность символов и $ — конец адреса. Запись Disallow: /*.pdf$ закроет PDF-файлы, но не страницу /doc.pdf.html.
Если несколько правил подходят к адресу, побеждает более конкретное — то, у которого длиннее совпавшая часть пути. При равной длине обычно выигрывает Allow. Это важно: одна строка Allow: /catalog/ может перекрыть общий запрет Disallow: /, если она специфичнее.
Не все клиенты одинаково понимают маски. Простые самописные парсеры часто читают только точные префиксы. Если вы пишете свой обходчик, ориентируйтесь на RFC, а не на «примерно так».
Crawl-delay и вежливость
Crawl-delay задаёт минимальный интервал между запросами в секундах. Яндекс его поддерживает, Google — нет, поэтому полагаться только на директиву нельзя. Даже если её нет, не стоит отправлять десять запросов в секунду: сервер может не выдержать.
Практичные правила:
- один-два параллельных соединения на небольшой сайт;
- пауза 0,5–2 секунды между запросами;
- обход в ночное время, если данных много;
- уважение к
Retry-Afterпри ответе 429; - кэширование уже скачанных страниц, чтобы не ходить дважды.
Отдельно про 5xx: если сервер отвечает ошибками, это повод остановиться и подождать, а не повторять запрос в цикле. Иначе вы добавляете нагрузку в момент, когда сайт и так плохо работает.
robots meta и X-Robots-Tag
Запрет можно задать и на уровне страницы: <meta name="robots" content="noindex, nofollow"> или заголовком X-Robots-Tag. Для поисковых роботов это указание не индексировать страницу и не переходить по ссылкам. Для парсера данных это сигнал, что владелец не хочет видеть содержимое в индексе, — стоит задуматься, нужна ли выгрузка.
noindex не запрещает скачивание. Если страница отдаётся публично, технически вы её получите. Вопрос уже этический и юридический, а не технический.
Что говорит закон
Условия использования сайта — это договор. Массовая выгрузка может нарушать его, даже если страницы открыты. В России отдельно охраняются базы данных (смежные права), а персональные данные регулируются 152-ФЗ: их сбор, хранение и обработка требуют оснований.
Авторские права на тексты и фотографии не переходят к вам от факта скачивания. Публиковать чужой контент у себя нельзя. Если планируется коммерческое использование, лучше получить письменное разрешение.
Это не юридическая консультация: в спорной ситуации нужен юрист, а не статья. Но базовое правило простое — открытый доступ не равен разрешению на любое использование.
Чего не делать
- не обходить CAPTCHA, авторизацию и платные разделы;
- не подделывать User-Agent поискового робота;
- не менять IP, чтобы обойти блокировку или лимит;
- не создавать нагрузку, сравнимую с DDoS;
- не собирать персональные данные без законного основания;
- не публиковать чужие тексты и изображения.
Если сайт явно против автоматического доступа, правильный путь — договориться об официальном API или купить данные. Технические обходы почти всегда заканчиваются блокировкой и репутационными потерями.
Как выглядит вежливый парсер
Он представляется в User-Agent и оставляет контакт, соблюдает robots.txt, ходит с паузами, кэширует ответы и умеет останавливаться при ошибках. Он не пытается выглядеть как браузер, если это не требуется для получения публичной страницы, и не скрывает факт автоматического запроса.
Технические приёмы обхода пагинации разобраны в статье парсинг пагинации на PHP, а работа с внутренними эндпоинтами — в материале парсинг JSON API. Если нужен разбор HTML, пригодится XPath для парсинга HTML.
Коротко
robots.txt— просьба, а не защита;- побеждает более конкретное правило,
Allowможет перекрытьDisallow; Crawl-delayподдерживают не все, паузы нужны в любом случае;- условия использования и закон действуют независимо от формата данных;
- вежливый парсер идентифицирует себя и умеет останавливаться.