Бесплатный инструмент

Генератор robots.txt для ИИ-роботов

Поисковые ИИ-роботы приводят посетителей из ответов ChatGPT, Claude и Perplexity. Обучающие собирают тексты для моделей. Выберите, кого пускать, скопируйте готовый robots.txt и положите в корень сайта.

  • Бесплатно
  • Без регистрации
  • Считается в вашем браузере
1Поисковые и ответные

Дают показ в ответах ChatGPT, Claude и Perplexity с поиском

2По запросу человека

Заходят, когда пользователь сам просит ИИ открыть страницу

3Обучение моделей

Собирают тексты для обучения, на показы в ответах не влияют

4Закрыть для всех пути (по одному в строке)

Вопросы и ответы

Что будет, если закрыть GPTBot?

ChatGPT перестанет брать ваши страницы для обучения моделей. На показ вашего сайта в ответах ChatGPT с поиском это не влияет: за поиск отвечает отдельный робот OAI-SearchBot.

Google-Extended, это отдельный робот?

Это метка в robots.txt, которая управляет тем, используют ли ваш сайт для обучения моделей Gemini. На позиции в обычном поиске Google она не влияет.

Если закрою ИИ-роботов, я потеряю трафик?

Закрыв поисковых и ответных роботов, вы исчезнете из ответов ИИ. Закрыв обучающих, ничего не потеряете в показах: они только собирают тексты для моделей.

Это защита от копирования?

Нет, это просьба. Добросовестные роботы её выполняют, остальные игнорируют. Для настоящей защиты нужны правила на сервере или в CDN.

Куда класть файл?

В корень сайта: ваш-сайт/robots.txt. Если файл уже есть, перенесите в него группы из результата и не дублируйте одинаковые строки User-agent.

Как проверить результат?

Запустите проверку в Awe Check: пункты про ИИ-поисковиков и роботов обучения покажут, кого пускает ваш robots.txt.

Проверьте, как ИИ видит ваш сайт

Awe Check за минуту проверит доступ ИИ-роботов, текст без JavaScript, llms.txt и разметку, а заодно законы и безопасность.

Проверить сайт бесплатно