robots.txt 生成器
按 User-agent 分组添加规则，一键拦截 AI 爬虫，实时生成标准 robots.txt
* 匹配所有搜索引擎爬虫，是站点默认规则
🤖 AI 爬虫一键拦截
勾选即为该爬虫生成 Disallow: /，禁止抓取整站
GPTBot · OpenAI / ChatGPT
OAI-SearchBot · OpenAI 搜索
ChatGPT-User · ChatGPT 用户触发抓取
ClaudeBot · Anthropic / Claude
Claude-Web · Anthropic
anthropic-ai · Anthropic
Google-Extended · Google / Gemini 训练
PerplexityBot · Perplexity
CCBot · Common Crawl（众多模型训练数据源）
Amazonbot · Amazon
Bytespider · 字节跳动 / 豆包
Applebot-Extended · Apple 训练
Meta-ExternalAgent · Meta
cohere-ai · Cohere
Diffbot · Diffbot
ChatGLM-Spider · 智谱 AI / ChatGLM
DeepSeekBot · 深度求索 / DeepSeek
Sitemap 引用
告知搜索引擎你的 sitemap.xml 位置
User-agent: * Disallow: /admin/
常见问题
如何一键屏蔽 ChatGPT、Gemini、Claude 等 AI 抓取？
在「AI 爬虫一键拦截」区勾选对应爬虫（如
GPTBot、Google-Extended、ClaudeBot），或点击「一键拦截所有 AI 爬虫」全选。工具会自动为每个爬虫生成 User-agent: <bot> + Disallow: / 规则组，禁止其抓取整站。Allow 和 Disallow 冲突时谁优先？
按 最长（最具体）匹配路径优先；若两者匹配的路径长度相同，则 Allow 优先于 Disallow。规则在文件中的书写顺序不影响优先级，路径匹配区分大小写。
robots.txt 能阻止搜索引擎收录吗？
不能完全保证。robots.txt 只是「请求」爬虫不要抓取，已被收录的 URL 仍可能出现在搜索结果（仅不显示摘要）。若要彻底移除，应配合
noindex meta 标签或搜索引擎后台的移除工具。