Генератор robots.txt - правила Allow, Disallow и Sitemap

Генератор robots.txt

Шаблон

Первые три заменяют ваши группы. Кнопка ИИ добавляет группу с распространёнными опубликованными именами ИИ-ботов и сохраняет остальное; список со временем меняется, проверяйте его.

Импортировать готовый robots.txt

Пути начинаются с / и чувствительны к регистру. * - любые символы, $ - конец URL, поэтому /*.pdf$ закрывает все PDF. Crawl-delay (секунды между запросами) Google игнорирует; некоторые другие поисковики его учитывают.

Проверка

Проблем не найдено.

robots.txt

            

Загрузите файл под именем robots.txt в корень хоста, например https://example.com/robots.txt. Для каждого поддомена нужен свой файл.

Проверить URL

    Проверяет robots.txt выше так, как его читает Google. Группа с точным именем робота важнее User-agent: *, одноимённые группы объединяются, а робот без своей группы переходит к *, а не к похожему имени (Googlebot-Image не использует группу Googlebot). Внутри группы решает самое длинное совпавшее правило, при равенстве побеждает Allow. Из полного URL берутся только путь и параметры запроса.

    robots.txt - это публичная просьба, а не замок. Его может прочитать кто угодно, а недобросовестные боты его игнорируют, поэтому никогда не указывайте там секретные пути. Он и не убирает страницы из выдачи: закрытый URL всё равно может попасть в индекс по ссылкам. Чтобы убрать страницу из поиска, используйте noindex и оставьте её доступной для обхода; для защиты нужен пароль.

    Как работает robots.txt

    Прежде чем обходить сайт, добросовестные боты загружают /robots.txt и ищут группу со своим именем, а если её нет - User-agent: *. Внутри группы Disallow перечисляет пути, которые нужно пропустить, а Allow делает из них исключения. Файл управляет обходом, а не индексацией, и действует только на тех ботов, которые решают ему следовать.

    Как пользоваться

    1. 1 Выберите шаблон или отредактируйте пример: по группе на робота (или * для всех) со строками Disallow и Allow.
    2. 2 Добавьте адрес Sitemap и посмотрите проверку: путь без начального слеша или Sitemap без https:// отмечаются сразу.
    3. 3 Скопируйте текст или скачайте robots.txt, загрузите его в корень сайта и откройте вашсайт/robots.txt, чтобы убедиться, что он доступен.

    Какое правило побеждает

    Крупные поисковики не читают правила сверху вниз. Для каждого URL берётся самое точное совпадение, то есть самый длинный путь; если Allow и Disallow одинаковой длины, побеждает Allow. Поэтому Disallow: /admin/ вместе с Allow: /admin/help/ оставляет страницы помощи доступными при любом порядке строк. Кроме того, робот следует только одной группе: если есть группа Googlebot, Googlebot полностью игнорирует группу *.

    Запрет обхода - не то же самое, что noindex

    URL, закрытый в robots.txt, всё равно может появиться в выдаче - обычно как голая ссылка без описания, потому что на него ссылаются другие страницы. Хуже того: если поставить на страницу noindex и одновременно закрыть её, робот никогда её не загрузит и тег не увидит. Чтобы убрать страницу из поиска, разрешите обход и используйте noindex; закрывайте только после того, как она выпала из индекса.

    Генератор мета-тегов →

    Ошибки, которые закрывают больше, чем нужно

    Правила - это префиксы: Disallow: /blog закрывает и /blog-tips/, и /blogger.html; если имеется в виду папка, пишите /blog/. Одиночный Disallow: / закрывает весь сайт - классический хвост с тестового сервера. Закрытые папки CSS и JavaScript мешают поисковикам правильно отрисовать страницы. И регистр важен: /Admin/ не охватывает /admin/. Чтобы узнать, как обрабатывается конкретный URL, введите его в поле проверки под результатом: оно покажет решающие группу и правило.

    ИИ-боты и управляющие токены

    Ряд компаний, работающих с ИИ, публикуют имена User-agent, под которыми собирают обучающие данные, и называют robots.txt способом от этого отказаться. Некоторые имена — не отдельные роботы, а управляющие токены: Google-Extended и Applebot-Extended сами страниц не загружают, они лишь определяют, можно ли использовать уже собранный поисковым роботом контент для обучения ИИ-моделей (у Google — ещё и как источник для ответов Gemini). Их блокировка не влияет на позиции, но и не убирает ваши страницы из ИИ-функций внутри поиска: AI Overviews и AI Mode в Google работают через Googlebot и настраиваются с помощью nosnippet или noindex, а не Google-Extended. Имена меняются и появляются новые, поэтому считайте шаблон отправной точкой и сверяйтесь с актуальной документацией каждого поставщика.

    Вопросы о robots.txt

    Нет, он только останавливает обход. Если на URL ссылаются другие сайты, он может остаться в индексе без описания. Чтобы убрать страницу, дайте её обойти с мета-тегом noindex или заголовком X-Robots-Tag, либо удалите её или закройте паролем.
    Новое
    Генератор UTM-меток Создавайте ссылки с UTM-метками за секунды. Сохраняет имеющиеся параметры и #якоря, правильно кодирует значения и предупреждает о заглавных буквах и пробелах.
    Популярное сегодня
    Проверка плотности ключевых слов Бесплатный анализ плотности ключевых слов: вставьте текст или ссылку и посмотрите частоту каждого слова и фразы в процентах.

    Другие SEO-инструменты

    Проверка плотности ключевых слов Бесплатный анализ плотности ключевых слов: вставьте текст или ссылку и посмотрите частоту каждого слова и фразы в процентах.
    Генератор слагов Превратите любой заголовок в аккуратный URL-слаг. Немецкое ü станет ue, турецкое ü станет u, кириллица транслитерируется — язык выбираете вы.
    Генератор мета-тегов Введите заголовок, описание, URL и изображение, чтобы получить HTML-мета-теги, разметку Open Graph и Twitter Card, и посмотрите, как страница будет выглядеть в результатах Google, на Facebook и в X ещё до публикации.
    Предпросмотр сниппета Посмотрите, как Title и Description выглядят в результатах поиска на компьютере и телефоне. Обрезка по пикселям, счётчик символов и пикселей.
    Генератор UTM-меток Создавайте ссылки с UTM-метками за секунды. Сохраняет имеющиеся параметры и #якоря, правильно кодирует значения и предупреждает о заглавных буквах и пробелах.

    Другие инструменты, которые могут вам понравиться

    Word в PDF Конвертируйте Word в PDF бесплатно: загрузите DOC, DOCX, ODT или RTF и скачайте аккуратно свёрстанный PDF за считаные секунды.
    PDF в Word Конвертируйте PDF в Word бесплатно: загрузите PDF и скачайте редактируемый DOCX за секунды - без регистрации и водяных знаков.
    Генератор MD5 Бесплатный генератор MD5: превратите текст или файл в контрольную сумму MD5 прямо в браузере - удобно для проверки целостности.
    Кодировщик и декодировщик Base64 Бесплатный кодировщик и декодировщик Base64: преобразуйте текст или файлы в Base64 и обратно прямо в браузере, без загрузки на сервер.
    Счетчик слов Бесплатный счётчик слов: вставьте текст, чтобы узнать число слов, символов, предложений и абзацев, а также время чтения. Текст остаётся в браузере.