边缘安全
  • DDoS and Web Protection
    • 概述
    • DDoS 防护
      • DDoS 防护概述
      • 使用独立 DDoS 防护
      • 配置独立 DDoS 防护策略
        • 调整 DDoS 防护等级
        • 配置 IP 黑白名单
        • 配置区域封禁
        • 配置端口过滤
        • 配置特征过滤
        • 配置协议封禁
        • 配置连接类攻击防护
        • 独立 DDoS 攻击流量告警
        • 相关参考
          • DDoS Protection Processing Order
          • 处置方式
          • 相关概念介绍
      • Related References
        • DDoS Protection Console Update (2026-01-12)
    • Web 防护
      • 概述
      • 配置Web防护策略
      • 自定义规则
      • Rate Limiting
        • 带宽滥用防护
        • CC 攻击防护
        • 自定义速率限制规则
      • Hosting Rules
        • 托管规则
        • High-Frequency Scan Protection
      • 防护例外规则
      • 托管定制规则
      • Web 安全监控告警
      • Related References
        • Web 防护请求处理顺序
        • 处置方式
        • 匹配条件
    • Bot Management
      • Overview
      • AI Crawler Control
      • Bot Intelligent analysis
      • Bot Basic Feature Management
      • Client Reputation
      • Active Detection
      • Custom Bot Rule
      • Client authentication (Beta)
        • Overview
        • Attestation Flow
        • Integration Guidelines
          • Step 1: Configure Authentication Method
          • Step 2: Integrate Client Authentication
            • Browser & WebView Integration
            • iOS Integration
            • iOS Integration
            • Mobile Integration References
          • Step 3: Configure Client Attestation Rules
          • Step 4: Verify Client Attestation
      • Related References
        • Action
    • API Discovery（Beta）
文档概览/
边缘安全/
DDoS and Web Protection/
Bot Management/
AI Crawler Control/

AI Crawler Control

功能概述

随着生成式 AI 与大模型技术的快速发展，互联网中以模型训练、信息搜索为目的的 AI 爬虫流量呈现指数级增长态势。这类 AI 爬虫在整体互联网流量中的占比持续提升，部分用户期望对这部分流量进行处置；同时在营销场景中，也存在借助其内容索引与传播能力，让品牌信息通过 AI 应用触达更多用户、扩大曝光范围的需求，需允许相关 AI 爬虫访问资源。AI 爬虫处置功能识别主流 AI 爬虫的流量特征，从而实现对 AI 爬虫访问行为的针对性处置。

操作步骤

1. 登录 边缘安全加速平台 EO 控制台，在左侧菜单栏中，进入服务总览，单击网站安全加速内需配置的站点。
2. 单击安全防护 > Web 防护。默认为站点级防护策略，单击域名级防护策略 Tab，在域名级防护策略中，单击目标域名进入目标域名防护策略配置界面，例如：shop.example.com。
3. 定位到 Bot 管理卡片，进入基础 Bot 管理 > AI 爬虫处置卡片。
4. 点击编辑，配置 AI 爬虫的处置方式，AI 爬虫处置功能支持观察、拦截、放行、JavaScript 挑战、托管挑战处置方式，请根据业务兼容性配置合适的选项，详情请参见 处置方式。



5. 单击保存，完成配置。
说明：
1. AI 爬虫处置基于请求的 User-Agent 字段进行特征识别，如需基于请求的行为特征、 IP画像特征、请求速率等智能分析功能，请订阅 Bot 管理 功能进行分析和处置。
2. 若您发现有正常流量被误拦截，请配置 防护例外规则，恢复被处置的正常访问流量。

相关参考

1. 启用AI 爬虫处置功能后，将会对以下 AI 爬虫请求进行识别和处置：
Amazon Kendra(Amazon)
Anchor Browser(Anchor)
ClaudeBot(Anthropic-AI)
atlassian-bot(atlassian)
AwarioSmartBot(Awario)
bigsur.ai(Big Sur AI)
Cotoyogi(Cotoyogi)
Factset_spyderbot(Factset)
GoogleOther(Google)
Google-CloudVertexBot(Google)
Google NotebookLM(Google)
Google-Extended(Google)
pangu(Huawei)
Liner Bot(Liner Bot)
Meta-ExternalAgent(Meta)
Novellum AI Crawl(Novellum)
GPTBot(OpenAI)
ShapBot(Parallel)
PerplexityBot(Perplexity)
QualifiedBot(Qualified.com, Inc.)
WARDBot(WEBSPARK)