Awe CheckБесплатный инструмент
Генератор robots.txt
Файл robots.txt говорит поисковым роботам, какие разделы сайта не стоит обходить. Выберите платформу, добавьте адрес карты сайта и положите результат в корень сайта.
- Бесплатно
- Без регистрации
- Считается в вашем браузере
Вопросы и ответы
Что такое robots.txt?
Текстовый файл в корне сайта, который говорит роботам Google, Яндекса и других поисковиков, какие адреса не обходить. Без него робот обойдёт всё, что найдёт.
Закрывает ли robots.txt страницу из выдачи?
Нет. Страница, запрещённая в robots.txt, всё равно может попасть в выдачу по ссылкам с других сайтов, но без описания. Чтобы убрать её из индекса, нужен тег noindex, а страница при этом должна оставаться открытой для робота.
Что обязательно закрыть?
Админку, корзину, оформление заказа, личный кабинет и внутренний поиск: они дают много дублей и не нужны в выдаче. Страницы товаров, статей и разделов закрывать нельзя.
Нужно ли указывать Sitemap?
Да, одной строкой. Так робот сразу находит карту сайта, не дожидаясь, пока вы отправите её в Search Console и Яндекс Вебмастер.
Можно ли закрыть сайт целиком?
Только тестовую копию. Если закрыть рабочий сайт, он пропадёт из поиска. Это одна из частых причин потери трафика после переезда.
А ИИ-роботы?
Для ChatGPT, Claude и Perplexity есть отдельный генератор: решите, каких ИИ-роботов пускать, и добавьте их группы в этот файл.
Читайте дальше
Проверьте, как поисковики видят сайт
Awe Check за минуту проверит robots.txt, карту сайта, индексацию, заголовки и разметку.