# MoonAI GEO · https://moonai-geo.com/
# GEO 立场：主动欢迎生成式 AI 爬虫与检索型爬虫抓取本站公开内容（与 SEO 的屏蔽逻辑相反）。

# ---------- 通用规则 ----------
User-agent: *
Allow: /

# 需登录/后台页面，不允许抓取（无 SEO 价值且含敏感信息）
# 注意：SPA 所有路由都返回 200，HTTP 状态码无法防护，必须靠本文件屏蔽
Disallow: /admin/
Disallow: /dashboard
Disallow: /auth
Disallow: /pricing/checkout

# 参数化详情页：内容由数据库驱动，URL 不固定，不适合静态爬取
Disallow: /blog/?
Disallow: /cases/*?

# 工具类页面允许抓取，提升工具页长尾覆盖
Allow: /tools/

Sitemap: https://moonai-geo.com/sitemap.xml

# ---------- 生成式 AI / 检索型爬虫显式放行 ----------
# 说明：robots.txt 一旦为某个 UA 单独建组，通用组对该 UA 即失效，
#      因此下面的组必须重复上面全部 Disallow 规则。
#      本组存在的意义是把「欢迎 AI 抓取」这一立场写成明文，便于各平台侧核查。
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: anthropic-ai
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: CCBot
User-agent: Amazonbot
User-agent: Meta-ExternalAgent
User-agent: cohere-ai
User-agent: Doubao
User-agent: Kimi
Allow: /
Disallow: /admin/
Disallow: /dashboard
Disallow: /auth
Disallow: /pricing/checkout
Disallow: /blog/?
Disallow: /cases/*?
Allow: /tools/