Генератор Robots.txt
Создайте файл robots.txt, который контролирует, какие поисковые системы и роботы с искусственным интеллектом могут посещать.
- Бесплатно
- Без регистрации
- Запускается в вашем браузере
- Работает на мобильных устройствах.
{имя} с первого взгляда
- Ввод
- Правила, пути и карты сайта
- Выход
- robots.txt
- Конфиденциальность
- Все происходит на вашем устройстве. Ничего не загружается.
- Цена
- Бесплатно, без аккаунта и водяных знаков.
Как использовать {имя}
- 1Выберите, могут ли сканеры посещать сайт.
- 2Перечислите пути для блокировки, исключения и карты сайта.
- 3Загрузите robots.txt и поместите его в корень вашего сайта.
Особенности
- Правила запрета и разрешения.
- Строки карты сайта.
- Один щелчок, чтобы заблокировать известных обучающих сканеров ИИ.
- Пути проверены.
Часто задаваемые вопросы по {имя}
Куда хранится файл?
В корне вашего домена: https://example.com/robots.txt.
Скрывает ли файл robots.txt страницы?
Нет. Добропорядочных сканеров просят не посещать; заблокированные страницы все равно могут быть проиндексированы, если на них есть ссылки в другом месте. Используйте noindex, чтобы исключить страницу из поиска.
Отправлено ли что-нибудь?
Нет. Он полностью работает в вашем браузере, поэтому ничего, что вы вводите, не отправляется на наш сервер и не сохраняется где-либо.
Сопутствующие инструменты
Генератор карты сайтаПревратите список URL-адресов страниц в действительную XML-карту сайта для Google и Bing.Проверка метаданных веб-сайтаПроверьте SEO страницы и поделитесь метаданными: заголовок, описание, каноничность, заголовки, структурированные данные и многое другое.Открыть предварительный просмотр графикаПосмотрите, как будет выглядеть ссылка при публикации в Facebook, LinkedIn, X, Slack и WhatsApp, а также какие теги отсутствуют.Генератор штрих-кодаСоздайте EAN, UPC, Code 128 и другие штрих-коды в формате PNG или SVG.
Еще {категория}Последнее обновление