本页面由 AI 翻译,尚未经过母语人士审校。 阅读英文版

Robots.txt 生成器

robots.txt 告诉守规矩的爬虫可以请求网站的哪些部分。它不是安全功能——被屏蔽的网址仍可被访问,如果其他页面链接到它们,甚至可能出现在搜索结果中。要让页面不出现在结果中,请改用 noindex 标签。

测试路径

完全在浏览器中运行。你的输入内容和文件不会上传到任何服务器。

使用方法

  1. 选择一个起始预设。
  2. 列出要禁止或允许的路径,每行一个,并添加你的站点地图网址。
  3. 测试几个路径,然后下载 robots.txt 并上传到域名根目录。

示例

屏蔽管理后台

禁止 /admin/,同时让网站其余部分可被抓取。

拒绝 AI 训练爬虫

为 GPTBot、CCBot 等公布了退出方式的用户代理添加规则。

隐私

完全在浏览器中运行。你的输入内容和文件不会上传到任何服务器。 浏览器中保存了哪些内容(仅收藏和历史记录),请参阅隐私政策。 隐私政策

你可以自己验证:打开浏览器的开发者工具,选择“网络”(Network)标签,然后使用工具。你的文件不会出现在任何上传请求中。此页面保存为离线可用后,你还可以断开网络继续使用。 广告和匿名访问统计在启用时会发出各自的请求,但绝不会接收你的文件或文本。

常见问题

robots.txt 放在哪里?

放在主机根目录:https://example.com/robots.txt。每个子域名都需要自己的文件。

Disallow 会把页面从 Google 中删除吗?

不会。它阻止的是抓取,而不是索引。要从结果中删除页面,请使用 noindex meta 标签(并允许抓取)。

测试工具如何判断?

遵循 Robots 排除协议(RFC 9309):最长的匹配规则优先,长度相同时 Allow 优先,并支持 * 和 $ 通配符。测试的是“*”组。

相关工具

全部SEO 工具
XML 站点地图生成器粘贴网址列表,即可得到有效且已转义的 sitemap.xml,可选设置最后修改日期。
Meta 标签生成器为页面生成规范的 HTML meta 标签:标题、描述、canonical、robots、Open Graph 和 Twitter Card,并提供长度建议。
规范网址助手将网址统一为一致的规范形式:HTTPS、带或不带 www、末尾斜杠、删除跟踪参数。
网站图标生成器从一张图片或一个字母生成完整的网站图标套件:favicon.ico、16–512 px 的 PNG、Apple Touch 图标、Web 清单和 HTML 标签,打包为一个 ZIP。
Open Graph 预览根据 og:title、og:description 和 og:image 预览链接卡片,检查图片尺寸和文本长度,并复制 Open Graph 标签。

搜索工具