Awe Checkrobots.txt: что закрыть от поисковых роботов и как не потерять трафик
Как составить robots.txt: что закрывать (админка, корзина, поиск), чего никогда не закрывать, как указать карту сайта и почему файл не прячет страницы.
Проверено по источникам: 11 октября 2026 г.
- 500 КиБчитает Google из robots.txt
- 1 файлв корне сайта: /robots.txt
- noindexа не robots.txt убирает страницу из индекса
Что делает файл
robots.txt лежит в корне сайта и просит роботов не обходить указанные адреса. Это просьба, а не защита: добросовестные роботы Google и Яндекса её выполняют, вредоносные игнорируют.
Что закрывать, а что нет
- Закрывайте: админку, корзину, оформление заказа, личный кабинет, внутренний поиск, страницы с параметрами сортировки.
- Не закрывайте: страницы товаров, статей и разделов, а также CSS и JavaScript: без них Google не поймёт вёрстку.
- Не используйте Disallow: / на рабочем сайте. Это закрывает сайт целиком и снимает его с поиска.
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /search/ Sitemap: https://example.com/sitemap.xml
Чего файл не умеет
Страница, закрытая в robots.txt, может остаться в выдаче без описания, если на неё ведут ссылки. Чтобы убрать страницу из индекса, нужен тег noindex, и закрывать её в robots.txt при этом нельзя: робот должен успеть увидеть тег. Файл можно собрать в генераторе robots.txt.
Частые вопросы
Сколько должен весить robots.txt?
Google читает первые 500 КиБ файла, остальное отбрасывает. Обычному сайту хватает нескольких строк.
Как закрыть сайт от нейросетей?
Отдельными группами для GPTBot, ClaudeBot и других роботов. Для этого есть отдельный генератор: сначала решите, нужна ли вам видимость в ответах ИИ.
Как проверить файл?
Откройте ваш-сайт/robots.txt и убедитесь, что он отдаёт текст, а не страницу сайта. Awe Check проверяет файл, карту сайта и доступность главной для роботов.
