Python 3.14.7: RobotFileParser игнорирует недесятичный Crawl-delay без падения. Безопасный test/control, измеримая матрица, дерево решения, stop-line и минимальный пакет поддержки.
Симптом и точная граница
Эта страница отвечает только на запрос «как проверить RobotFileParser Crawl-delay или Request-rate with non-decimal digits Python 3.14.7». Подтверждённое изменение Python 3.14.7: RobotFileParser игнорирует значения с недесятичными цифрами вместо ValueError и продолжает разбор robots.txt. Пользовательский симптом отделён от гипотезы: одна строка Crawl-delay с Unicode digit прерывает парсинг остальных User-agent и Disallow rules. Один похожий traceback, таймаут или рост ресурса не доказывает эту причину. До эксперимента сохраните версию интерпретатора, платформу, ожидаемый переход и deadline. Не обновляйте рабочее окружение ради проверки: сначала нужен воспроизводимый локальный A/B.
Изолированный сценарий
Сценарий T19-20: синтетический robots text содержит valid rule до и после invalid superscript digit для Crawl-delay и Request-rate отдельно. Проверяйте can_fetch для двух публичных fictitious paths до и после дефектной строки. Это гарантирует, что parser не просто молча оборвал весь остаток. Значение с superscript digit храните как escape в fixture, а в отчёте укажите code point. Используются только синтетические markers, loopback, in-memory объекты или временный каталог. Все размеры, очереди и повторы ограничены заранее. Если требуемый runtime component отсутствует, результатом считается environment blocker, а не отрицание исправления.
Контрольная ветка
Независимый control: полностью decimal Crawl-delay и Request-rate с теми же rules. Test и control запускаются в новых процессах или на новых объектах с одной версией Python, одинаковой архитектурой и одинаковым порядком измерений. Сначала снимите A, затем проблемную ветку B, выполните полный cleanup и повторите A2. Если A2 отличается от A, состояние протекло между опытами; дальнейшая интерпретация блокируется до устранения handle, cache, task, file descriptor или временного файла.
Матрица наблюдений
Заполняйте таблицу «directive × parse exception × can_fetch before/after × crawl_delay × request_rate». Сохраняйте состояния и типы, а не впечатления: exception class отдельно от message, promise/task state отдельно от результата, bytes length отдельно от содержимого, elapsed отдельно от deadline. Для процесса фиксируйте exit code и signal; для потоков — порядок событий; для parser — ожидаемый и фактический индекс. Один пустой столбец означает, что case не завершён. Реальные payload, адреса, токены, абсолютные пути и полные dumps в таблицу не входят.
Дерево решения
Основная ветка: invalid numeric directives не падают, surrounding access rules сохраняются, valid control parsed — robust boundary. Если test и control одинаково не проходят, исправьте fixture. Если control чист, а test не воспроизводится, статус остаётся unknown: нельзя придумывать причину или популярность. Если test воспроизводится на старом interpreter, но не на 3.14.7 при одинаковом окружении, зафиксируйте узкую compatibility boundary, а не универсальную рекомендацию обновиться. Любое расхождение повторов требует ещё одного полного A/B, а не выборочного удаления неудобной строки.
Красные флаги и остановка
Предметная stop-line: не использовать страницу для игнорирования robots.txt и не обращаться к чужому сайту. Также немедленно остановитесь при внешнем соединении, записи за temp root, зависании без управляемого child, неожиданном повышении прав, появлении приватных данных или изменении рабочей базы. Нельзя получать зелёный исход отключением проверки сертификатов, бесконечным retry, безразмерным input, глобальным подавлением exception или уничтожением состояния. Безопасный нулевой вывод предпочтительнее правдоподобной выдумки.
Минимальный пакет поддержки
Передайте только: directive repr/code points, access booleans, parsed values, Python version. Добавьте московский timestamp, точный `python --version`, платформу, один обезличенный command и строки A/B/A2. Уберите PIDs, usernames, внутренние hostnames, email, IP, содержимое архивов и баз, environment variables, полные пути и memory dumps. Получатель должен суметь повторить один state transition без доступа к вашей инфраструктуре. Если для воспроизведения требуется production-файл, пакет ещё не минимизирован.
Почему ответ T19-20 самостоятельный
Уникальность определяется не названием Python, а связкой intent «как проверить RobotFileParser Crawl-delay или Request-rate with non-decimal digits Python 3.14.7», symptom «одна строка Crawl-delay с Unicode digit прерывает парсинг остальных User-agent и Disallow rules», boundary «RobotFileParser игнорирует значения с недесятичными цифрами вместо ValueError и продолжает разбор robots.txt», fixture «синтетический robots text содержит valid rule до и после invalid superscript digit для Crawl-delay и Request-rate отдельно», matrix «directive × parse exception × can_fetch before/after × crawl_delay × request_rate» и control «полностью decimal Crawl-delay и Request-rate с теми же rules». Применимое решение ограничено правилом «invalid numeric directives не падают, surrounding access rules сохраняются, valid control parsed — robust boundary» и stop-line «не использовать страницу для игнорирования robots.txt и не обращаться к чужому сайту». Соседнее исправление parser, asyncio, tarfile, logging, SQLite или process pool имеет другой объект, failure mode и дерево решения. После теста удалите временные artifacts и подтвердите отсутствие активных tasks, threads, listeners, sockets и child processes. Идентификатор: python3147-robotparser-nondecimal-delay.
Материал подготовлен редакцией VOne с помощью ИИ по открытым официальным и первичным источникам; факты, даты и ссылки перепроверены. Реальные пользовательские данные не использовались.
Источники и проверка
- Python 3.14.7 release проверено 2026-08-29
- Python 3.14.7 changelog проверено 2026-08-29
- CPython issue #153404 проверено 2026-08-29
Информация актуальна на дату публикации. Правила сервисов, приложений и сетей могут меняться.