Robots.txt 生成器
创建一个 robots.txt 文件,控制搜索引擎和 AI 爬虫可以访问的内容。
- 免费
- 无需注册
- 在您的浏览器中运行
- 适用于移动设备
{名称} 一目了然
- 输入
- 规则、路径和站点地图
- 输出
- 机器人.txt
- 隐私
- 一切都发生在您的设备上。没有上传任何内容。
- 价格
- 免费,无帐户,无水印。
如何使用Robots.txt 生成器
- 1选择爬虫是否可以访问该网站。
- 2列出阻止路径、例外情况和站点地图。
- 3下载 robots.txt 并将其放在您的站点根目录中。
特点
- 禁止和允许规则。
- 站点地图行。
- 一键拦截已知AI训练爬虫。
- 路径已验证。
Robots.txt 生成器 常见问题解答
文件去哪里了?
在您域的根目录:https://example.com/robots.txt。
robots.txt 是否隐藏页面?
否,要求行为良好的爬虫不要访问;如果链接到其他地方,被阻止的页面仍然可以被索引。使用 noindex 使页面不被搜索。
有东西寄过来吗?
不会。它完全在您的浏览器中运行,因此您输入的任何内容都不会发送到我们的服务器或存储在任何地方。
相关工具
更多{类别}最后更新