1网站管理员检查 robots.txt 是否意外屏蔽了主流搜索引擎和 AI 爬虫
- 1打开 AI Search Readiness Checker 工具页面
- 2在输入框中输入你的网站 URL（例如 https://example.com）
- 3点击“Check”按钮，等待工具自动分析并展示结果
- 4根据结果中的警告或通过状态，确认是否被屏蔽并修正 robots.txt 文件
2SEO 专员在改版后验证 robots.txt 规则对 Google 和 AI 爬虫的兼容性
- 1将更新后的 robots.txt 文件上传至网站根目录
- 2使用工具输入网站 URL 并运行检查
- 3查看工具对 Googlebot、ChatGPT 和 Perplexity 的检查结果，确保所有爬虫均被允许访问关键路径
3内容发布者确认自己的页面能被 ChatGPT 等 AI 搜索工具索引
- 1复制需要检查的网页所在域名（如 blog.example.com）
- 2在工具中粘贴域名并提交检查
- 3解读结果：如果显示“Allowed”，则表示 AI 爬虫可以正常抓取；如有“Blocked”项，则需修改 robots.txt 解除限制