边缘安全
  • 概述
  • DDoS 防护
    • DDoS 防护概述
    • 使用独立 DDoS 防护
    • 配置独立 DDoS 防护策略
      • 调整 DDoS 防护等级
      • 独立 DDoS 攻击流量告警
      • 配置 IP 黑白名单
      • 配置区域封禁
      • 配置端口过滤
      • 配置特征过滤
      • 配置协议封禁
      • 配置连接类攻击防护
      • 相关参考
        • 处置方式
        • 相关概念介绍
  • Web 防护
    • 概述
    • 配置Web防护策略
    • 托管规则
    • CC 攻击防护
    • 带宽滥用防护
    • 自定义规则
    • 自定义速率限制规则
    • 防护例外规则
    • 托管定制规则
    • Web 安全监控告警
    • 相关参考
      • Web 防护请求处理顺序
      • 处置方式
      • 匹配条件
  • Bot 管理
    • 概述
    • AI Crawler Control
    • Bot 智能分析
    • Bot 基础特征管理
    • 客户端画像分析
    • 主动特征识别
    • 自定义 Bot 规则
    • 相关参考
      • 处置方式
  • 策略模板
  • IP 和网段分组
  • 源站防护
  • 自定义响应页面
  • 告警通知推送
  • SSL/TLS
    • 概述
    • 部署/更新 SSL 托管证书至 EdgeOne 域名
    • 使用免费证书部署至 EdgeOne 域名
    • 双向认证
    • HTTPS 配置
      • 强制 HTTPS 访问
      • 启用 HSTS
      • SSL/TLS 安全配置
        • 配置 SSL/TLS 安全等级
        • TLS 版本及密码套件说明
      • 开启 OCSP 装订
    • 引用
      • 使用OpenSSL生成自签名证书
      • 证书格式要求
    • 使用无密钥证书

AI Crawler Control

功能概述

随着生成式 AI 与大模型技术的快速发展,互联网中以模型训练、信息搜索为目的的 AI 爬虫流量呈现指数级增长态势。这类 AI 爬虫在整体互联网流量中的占比持续提升,部分用户期望对这部分流量进行处置;同时在营销场景中,也存在借助其内容索引与传播能力,让品牌信息通过 AI 应用触达更多用户、扩大曝光范围的需求,需允许相关 AI 爬虫访问资源。AI 爬虫处置功能识别主流 AI 爬虫的流量特征,从而实现对 AI 爬虫访问行为的针对性处置。

操作步骤

1. 登录 边缘安全加速平台 EO 控制台,在左侧菜单栏中,进入服务总览,单击网站安全加速内需配置的站点。
2. 单击安全防护 > Web 防护。默认为站点级防护策略,单击域名级防护策略 Tab,在域名级防护策略中,单击目标域名进入目标域名防护策略配置界面,例如:shop.example.com
3. 定位到 Bot 管理卡片,进入基础 Bot 管理 > AI 爬虫处置卡片
4. 点击编辑,配置 AI 爬虫的处置方式,AI 爬虫处置功能支持观察、拦截、放行、JavaScript 挑战、托管挑战处置方式,请根据业务兼容性配置合适的选项,详情请参见 处置方式



5. 单击保存,完成配置。
说明:
1. AI 爬虫处置基于请求的 User-Agent 字段进行特征识别,如需基于请求的行为特征、 IP画像特征、请求速率等智能分析功能,请订阅 Bot 管理 功能进行分析和处置。
2. 若您发现有正常流量被误拦截,请配置 防护例外规则,恢复被处置的正常访问流量。

相关参考

1. 启用AI 爬虫处置功能后,将会对以下 AI 爬虫请求进行识别和处置:
Amazon Kendra(Amazon)
Anchor Browser(Anchor)
ClaudeBot(Anthropic-AI)
atlassian-bot(atlassian)
AwarioSmartBot(Awario)
bigsur.ai(Big Sur AI)
Cotoyogi(Cotoyogi)
Factset_spyderbot(Factset)
GoogleOther(Google)
Google-CloudVertexBot(Google)
Google NotebookLM(Google)
Google-Extended(Google)
pangu(Huawei)
Liner Bot(Liner Bot)
Meta-ExternalAgent(Meta)
Novellum AI Crawl(Novellum)
GPTBot(OpenAI)
ShapBot(Parallel)
PerplexityBot(Perplexity)
QualifiedBot(Qualified.com, Inc.)
WARDBot(WEBSPARK)