Робот Словоправа — SlovopravBot
SlovopravBot читает страницу, когда пользователь Словоправа заказал анализ текста: страницу, которую он проверяет, и страницы из первой двадцатки выдачи Яндекса или Google по его запросу. Сайт робот только читает: ничего не отправляет и не меняет.
Как узнать робота · Как он ходит · robots.txt · Сайт за защитой от ботов
Как узнать робота
Робот представляется так:
Mozilla/5.0 (compatible; SlovopravBot/1.0; +https://slovoprav.ru/bot)
Так он называет себя в каждом запросе — и в обычном, и когда открывает страницу в браузере. В robots.txt и в правилах защиты достаточно слова SlovopravBot.
Запросы приходят с адресов 94.102.89.164 (отчёты по русскоязычной выдаче) и 94.249.203.20 (по англоязычной). Адрес может смениться при переезде сервера, поэтому правило по User-Agent надёжнее, а правило по IP нужно там, где User-Agent не помогает, — например, в режиме Bot Fight Mode у Cloudflare.
Как он ходит
- Только когда пользователь Словоправа заказал отчёт или проверку текста по ссылке. Фонового обхода и расписания нет.
- За один отчёт — страницы из первой двадцатки выдачи по запросу пользователя и страница, которую он проверяет. С одного сайта это обычно одна страница.
- Страницы читает по одной, не параллельно.
- Сначала запрашивает robots.txt сайта и десять минут помнит ответ, потом — саму страницу обычным запросом.
- Если в ответе нет текста — страницу собирают скрипты или сайт ответил проверкой браузера — открывает её один раз в браузере. Браузер выполняет скрипты страницы, но не загружает картинки, стили, шрифты и видео.
- Ждёт ответа не дольше 15 секунд обычным запросом и 20 секунд в браузере. Повторов нет: к странице, которая не открылась, в этом отчёте робот не возвращается.
- Форм не отправляет, капчи не решает и защиту от ботов не обходит.
- Из страницы берёт текст, заголовки и мета-теги: по ним считается отчёт для пользователя.
robots.txt
SlovopravBot соблюдает robots.txt так же, как роботы Яндекса и Google: читает группу User-agent: SlovopravBot, а если её нет — правила для всех роботов, User-agent: *. Закрытую страницу робот не запрашивает.
Если файла нет (ответ 404 или другой 4xx), правил нет, и робот запрашивает страницу. Если файл отвечает ошибкой сервера (5xx) или не отвечает вовсе, робот считает закрытым весь сайт — так велит стандарт RFC 9309.
Закрыть сайт от Словоправа:
User-agent: SlovopravBot
Disallow: /
Открыть сайт Словоправу, если robots.txt пускает только поисковых роботов:
User-agent: SlovopravBot
Allow: /
Своя группа заменяет для робота правила User-agent: * целиком: перенесите в неё запреты, которые нужно сохранить, например Disallow: /admin/.
Crawl-delay робот не читает — как Яндекс и Google: страницы он и так запрашивает по одной.
Сайт за защитой от ботов
Защиту от ботов робот не обходит. Если она закрывает чужую страницу, та выпадает из анализа. Если закрывает страницу, которую проверяет сам пользователь, отчёт не строится, а пользователь получает ссылку сюда. Чтобы пустить робота, добавьте правило, которое пропускает запросы с SlovopravBot в User-Agent, а где это невозможно — правило по IP.
Пока правила нет, отчёт можно заказать и без робота: в форме анализа выберите «HTML-код страницы» и вставьте код из инструментов разработчика.
Cloudflare
- По User-Agent: Security → WAF → Custom rules → Create rule. Поле
User Agent, операторcontains, значениеSlovopravBot, действиеSkip. Отметьте All remaining custom rules, All rate limiting rules, All managed rules, All Super Bot Fight Mode rules, а среди продуктов — Browser Integrity Check и Security Level. - Bot Fight Mode на бесплатном тарифе исключений не допускает: правило по User-Agent его не обходит. Добавьте IP робота в IP Access Rules с действием Allow (Security → WAF → Tools): Bot Fight Mode не срабатывает, если первым совпало такое правило. Или выключите Bot Fight Mode.
DDoS-Guard
- По User-Agent: личный кабинет → «Веб-защита» → «Домены» → ваш домен → «Правила защиты» → «Создать правило». Условие:
User-Agent,contains,SlovopravBot; действие «Пропускать». - По IP: «Домены» → ваш домен → «Черный/белый список» → «Добавить правило»: адрес робота и действие «Пропускать».
Qrator
- По User-Agent: Domains → ваш домен → Filter configuration → HTTP Headers: правило белого списка для
User-Agentс проверкой Contains и значениемSlovopravBot. Qrator пропустит адреса, с которых приходят такие запросы; правило начинает работать через несколько минут. - По IP: Network → IP lists → Whitelist → Whitelist IP addresses.
Другая защита
Пропустите запросы, у которых в User-Agent есть SlovopravBot. Проверить правило можно запросом с тем же заголовком:
curl -I -A "Mozilla/5.0 (compatible; SlovopravBot/1.0; +https://slovoprav.ru/bot)" https://site.ru/page/
User-Agent легко подделать: правило по нему пропустит любого, кто так представится. Если это важно, добавьте в правило условие по IP — и обновите его, если адрес робота сменится.
Вопросы о роботе — на info@slovoprav.ru.