robots.txt 生成器
可视化配置 robots.txt：User-agent 分组、Allow/Disallow 规则、crawl-delay 与 Sitemap 地址，附常见爬虫预设与模板。
模板:
分组 1: *
快速插入常见爬虫:
robots.txt
User-agent: * Allow: / Sitemap: https://fuyeai.com/sitemap.xml
什么是robots.txt生成器
不用手拼语法即可生成 robots.txt：按 User-agent 分组配置 Allow/Disallow，内置 Googlebot、Bingbot、GPTBot、ClaudeBot 等爬虫预设与 WordPress/Next.js 模板，可直接下载。
如何使用robots.txt生成器
- 选择模板或从空配置开始，添加 User-agent 分组
- 为每组添加 Allow/Disallow 规则（路径必须以 / 开头）
- 填入 Sitemap 地址，复制或下载 robots.txt 放到站点根目录
常见问题
Crawl-delay 对所有爬虫都有效吗？
不是。Google 明确忽略 crawl-delay（需在 Search Console 调整抓取速率）；Bing 与部分爬虫遵守它，单位是秒。
Disallow 能阻止页面被索引吗？
不完全。Disallow 只阻止抓取，若页面被其他站点链接，仍可能以"无描述"形式出现在结果中。要真正禁止索引应允许抓取并使用 noindex meta。
屏蔽 GPTBot/ClaudeBot 会影响搜索排名吗？
不会影响 Google 搜索排名——GPTBot 是 OpenAI 的训练爬虫，ClaudeBot 属于 Anthropic，与 Googlebot 相互独立；Google-Extended 只控制 Gemini 训练用途。
robots.txt生成器收费吗？
robots.txt生成器完全免费，打开网页即可使用全部功能，没有任何隐藏收费。
robots.txt生成器需要下载安装吗？
不需要下载或安装任何软件。这是一个在线网页工具，在手机、平板和电脑的浏览器中打开即可使用。
使用robots.txt生成器需要注册账号吗？
不需要。本工具无需注册、无需登录，打开页面即可直接使用。
robots.txt生成器在手机上可以使用吗？
可以。页面采用响应式设计，自动适配手机、平板和桌面屏幕，随时随地打开浏览器即可使用。