# robots.txt — eficien.com
# 品牌：算数·海辕（中国汽车出海 · 海外经销网络数字化）
# 出品方：上海思扬信息科技有限公司（算数科技）
# 最后更新：2026-10-12
#
# 设计原则：
#   1) 全站公开内容对搜索引擎与 AI 抓取器一律放行，唯一禁止项是 /scripts/（构建脚本，无内容价值）。
#   2) 写全特定 UA 不是为了「限制」，而是明确表态——多数 AI 平台会读 robots.txt 判断能否取用本站内容。
#   3) 所有特定 UA 组都必须重复 Disallow，因为 robots.txt 每个爬虫只匹配一个组，
#      特定组不会继承 User-agent: * 的规则。
#   4) 非标准 UA（如 xAI / Grok 不带 bot 字样）必须显式声明，否则只能落到 * 组。

# 内容使用声明（Cloudflare / IETF aipref 约定，Google 会忽略未知指令，不影响收录）
Content-Signal: search=yes, ai-train=yes, ai-input=yes

# ============================================================
# 一、国际 AI 平台
# ============================================================

# OpenAI → ChatGPT / SearchGPT
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ChatGPT-Operator
Allow: /
Disallow: /scripts/

# Anthropic → Claude
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Claude-Web
User-agent: anthropic-ai
Allow: /
Disallow: /scripts/

# Perplexity
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Disallow: /scripts/

# Google → Gemini / Vertex AI
User-agent: Google-Extended
Allow: /
Disallow: /scripts/

# Apple → Apple Intelligence
User-agent: Applebot
User-agent: Applebot-Extended
Allow: /
Disallow: /scripts/

# xAI → Grok Live Search（非标准 UA，必须显式列出）
User-agent: xAI
User-agent: Grok
User-agent: xAI-Bot
User-agent: GrokBot
Allow: /
Disallow: /scripts/

# 其他国际 AI / 语料与检索
User-agent: CCBot
User-agent: Amazonbot
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: FacebookBot
User-agent: cohere-ai
User-agent: cohere-training-data-crawler
User-agent: YouBot
User-agent: Diffbot
User-agent: Timpibot
User-agent: ImagesiftBot
User-agent: Omgilibot
User-agent: Scrapy
Allow: /
Disallow: /scripts/

# ============================================================
# 二、中文 AI 平台（这些抓取器多数不执行 JavaScript，
#     本站为此提供纯静态索引 /blog/archive.html 与静态 structured data）
# ============================================================

# 字节跳动 → 豆包 / 抖音 AI
User-agent: Bytespider
User-agent: ByteDanceSpider
User-agent: DoubaoBot
User-agent: TikTokSpider
Allow: /
Disallow: /scripts/

# 月之暗面 → Kimi
User-agent: MoonshotAI
User-agent: MoonshotBot
User-agent: KimiBot
Allow: /
Disallow: /scripts/

# 深度求索 → DeepSeek
User-agent: DeepSeekBot
User-agent: DeepSeek
Allow: /
Disallow: /scripts/

# 阿里巴巴 → 通义千问 / 夸克 / 神马
User-agent: QwenBot
User-agent: Qwen-User
User-agent: TongyiBot
User-agent: AliSpider
User-agent: Quark-Spider
User-agent: YisouSpider
Allow: /
Disallow: /scripts/

# 百度 → 文心一言 / 文心快码
User-agent: Baiduspider
User-agent: Baiduspider-render
User-agent: Baiduspider-ai
User-agent: Baiduspider-image
User-agent: ERNIEBot
User-agent: WenxinBot
Allow: /
Disallow: /scripts/

# 腾讯 → 元宝 / 混元 / 搜狗
User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou Pic Spider
User-agent: YuanbaoBot
User-agent: HunyuanBot
User-agent: TencentBot
Allow: /
Disallow: /scripts/

# 智谱 → 清言 / GLM
User-agent: ChatGLM
User-agent: ZhipuAI
User-agent: GLM-Crawler
User-agent: ChatGLM-Spider
Allow: /
Disallow: /scripts/

# 秘塔 → 秘塔 AI 搜索
User-agent: metaso
User-agent: MetasoBot
User-agent: Metaso-Spider
Allow: /
Disallow: /scripts/

# 科大讯飞 → 星火
User-agent: SparkBot
User-agent: iFlytekSpider
Allow: /
Disallow: /scripts/

# 其他国内 AI / 检索
User-agent: MiniMaxBot
User-agent: PanguBot
User-agent: StepFunBot
User-agent: YiBot
Allow: /
Disallow: /scripts/

# ============================================================
# 三、搜索引擎
# ============================================================

# Google
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-News
User-agent: Googlebot-Video
User-agent: Mediapartners-Google
User-agent: AdsBot-Google
User-agent: APIs-Google
Allow: /
Disallow: /scripts/

# Microsoft Bing
User-agent: Bingbot
User-agent: BingPreview
User-agent: msnbot
User-agent: msnbot-media
User-agent: AdIdxBot
Allow: /
Disallow: /scripts/

# 百度（Baiduspider 已在第二节「中文 AI 平台」放行，此处不重复声明）
# 其他国内外搜索
User-agent: 360Spider
User-agent: HaosouSpider
User-agent: PetalBot
User-agent: YandexBot
User-agent: DuckDuckBot
User-agent: Yeti
User-agent: NaverBot
User-agent: Yahoo! Slurp
Allow: /
Disallow: /scripts/

# ============================================================
# 四、链接预览 / 社交卡片（影响分享出去的默认缩略图，建议放行）
# ============================================================
User-agent: facebookexternalhit
User-agent: Twitterbot
User-agent: LinkedInBot
User-agent: Slackbot
User-agent: Slackbot-LinkExpanding
User-agent: TelegramBot
User-agent: WhatsApp
User-agent: Discordbot
User-agent: Pinterestbot
User-agent: Embedly
User-agent: Quora Link Preview
User-agent: W3C_Validator
Allow: /
Disallow: /scripts/

# ============================================================
# 五、通配符兜底（必须放在所有特定 UA 之后）
# ============================================================
User-agent: *
Allow: /
Disallow: /scripts/

# ============================================================
# 机器可读入口
# ============================================================
# 站点地图（含文章配图的 image 扩展）：https://eficien.com/sitemap.xml
# 人类可读站点地图：https://eficien.com/sitemap.html
# AI 摘要（优先读这个）：https://eficien.com/llms.txt
# AI 完整索引：https://eficien.com/llms-full.txt
# 结构化清单：https://eficien.com/ai-site.json
# 文章全量静态索引（不执行 JS 也能读）：https://eficien.com/blog/archive.html

Sitemap: https://eficien.com/sitemap.xml