Генератор robots.txt - правила Allow, Disallow и Sitemap
Генератор robots.txt
Первые три заменяют ваши группы. Кнопка ИИ добавляет группу с распространёнными опубликованными именами ИИ-ботов и сохраняет остальное; список со временем меняется, проверяйте его.
Импортировать готовый robots.txt
* - все роботы. Чтобы задать одинаковые правила нескольким, перечислите имена через запятую.
Пути начинаются с / и чувствительны к регистру. * - любые символы, $ - конец URL, поэтому /*.pdf$ закрывает все PDF. Crawl-delay (секунды между запросами) Google игнорирует; некоторые другие поисковики его учитывают.
Проблем не найдено.
Загрузите файл под именем robots.txt в корень хоста, например https://example.com/robots.txt. Для каждого поддомена нужен свой файл.
Проверить URL
Проверяет robots.txt выше так, как его читает Google. Группа с точным именем робота важнее User-agent: *, одноимённые группы объединяются, а робот без своей группы переходит к *, а не к похожему имени (Googlebot-Image не использует группу Googlebot). Внутри группы решает самое длинное совпавшее правило, при равенстве побеждает Allow. Из полного URL берутся только путь и параметры запроса.
robots.txt - это публичная просьба, а не замок. Его может прочитать кто угодно, а недобросовестные боты его игнорируют, поэтому никогда не указывайте там секретные пути. Он и не убирает страницы из выдачи: закрытый URL всё равно может попасть в индекс по ссылкам. Чтобы убрать страницу из поиска, используйте noindex и оставьте её доступной для обхода; для защиты нужен пароль.
Как работает robots.txt
Прежде чем обходить сайт, добросовестные боты загружают /robots.txt и ищут группу со своим именем, а если её нет - User-agent: *. Внутри группы Disallow перечисляет пути, которые нужно пропустить, а Allow делает из них исключения. Файл управляет обходом, а не индексацией, и действует только на тех ботов, которые решают ему следовать.
Как пользоваться
- 1 Выберите шаблон или отредактируйте пример: по группе на робота (или * для всех) со строками Disallow и Allow.
- 2 Добавьте адрес Sitemap и посмотрите проверку: путь без начального слеша или Sitemap без https:// отмечаются сразу.
- 3 Скопируйте текст или скачайте robots.txt, загрузите его в корень сайта и откройте вашсайт/robots.txt, чтобы убедиться, что он доступен.
Какое правило побеждает
Крупные поисковики не читают правила сверху вниз. Для каждого URL берётся самое точное совпадение, то есть самый длинный путь; если Allow и Disallow одинаковой длины, побеждает Allow. Поэтому Disallow: /admin/ вместе с Allow: /admin/help/ оставляет страницы помощи доступными при любом порядке строк. Кроме того, робот следует только одной группе: если есть группа Googlebot, Googlebot полностью игнорирует группу *.
Запрет обхода - не то же самое, что noindex
URL, закрытый в robots.txt, всё равно может появиться в выдаче - обычно как голая ссылка без описания, потому что на него ссылаются другие страницы. Хуже того: если поставить на страницу noindex и одновременно закрыть её, робот никогда её не загрузит и тег не увидит. Чтобы убрать страницу из поиска, разрешите обход и используйте noindex; закрывайте только после того, как она выпала из индекса.
Ошибки, которые закрывают больше, чем нужно
Правила - это префиксы: Disallow: /blog закрывает и /blog-tips/, и /blogger.html; если имеется в виду папка, пишите /blog/. Одиночный Disallow: / закрывает весь сайт - классический хвост с тестового сервера. Закрытые папки CSS и JavaScript мешают поисковикам правильно отрисовать страницы. И регистр важен: /Admin/ не охватывает /admin/. Чтобы узнать, как обрабатывается конкретный URL, введите его в поле проверки под результатом: оно покажет решающие группу и правило.
ИИ-боты и управляющие токены
Ряд компаний, работающих с ИИ, публикуют имена User-agent, под которыми собирают обучающие данные, и называют robots.txt способом от этого отказаться. Некоторые имена — не отдельные роботы, а управляющие токены: Google-Extended и Applebot-Extended сами страниц не загружают, они лишь определяют, можно ли использовать уже собранный поисковым роботом контент для обучения ИИ-моделей (у Google — ещё и как источник для ответов Gemini). Их блокировка не влияет на позиции, но и не убирает ваши страницы из ИИ-функций внутри поиска: AI Overviews и AI Mode в Google работают через Googlebot и настраиваются с помощью nosnippet или noindex, а не Google-Extended. Имена меняются и появляются новые, поэтому считайте шаблон отправной точкой и сверяйтесь с актуальной документацией каждого поставщика.