AI Crawler Control
功能概述
随着生成式 AI 与大模型技术的快速发展,互联网中以模型训练、信息搜索为目的的 AI 爬虫流量呈现指数级增长态势。这类 AI 爬虫在整体互联网流量中的占比持续提升,部分用户期望对这部分流量进行处置;同时在营销场景中,也存在借助其内容索引与传播能力,让品牌信息通过 AI 应用触达更多用户、扩大曝光范围的需求,需允许相关 AI 爬虫访问资源。AI 爬虫处置功能识别主流 AI 爬虫的流量特征,从而实现对 AI 爬虫访问行为的针对性处置。
操作步骤
1. 登录 边缘安全加速平台 EO 控制台,在左侧菜单栏中,进入服务总览,单击网站安全加速内需配置的站点。
2. 单击安全防护 > Web 防护。默认为站点级防护策略,单击域名级防护策略 Tab,在域名级防护策略中,单击目标域名进入目标域名防护策略配置界面,例如:
shop.example.com。3. 定位到 Bot 管理卡片,进入基础 Bot 管理 > AI 爬虫处置卡片。
4. 点击编辑,配置 AI 爬虫的处置方式,AI 爬虫处置功能支持观察、拦截、放行、JavaScript 挑战、托管挑战处置方式,请根据业务兼容性配置合适的选项,详情请参见 处置方式。


5. 单击保存,完成配置。
说明:
1. AI 爬虫处置基于请求的 User-Agent 字段进行特征识别,如需基于请求的行为特征、 IP画像特征、请求速率等智能分析功能,请订阅 Bot 管理 功能进行分析和处置。
2. 若您发现有正常流量被误拦截,请配置 防护例外规则,恢复被处置的正常访问流量。
相关参考
1. 启用AI 爬虫处置功能后,将会对以下 AI 爬虫请求进行识别和处置:
Amazon Kendra(Amazon)Anchor Browser(Anchor)ClaudeBot(Anthropic-AI)atlassian-bot(atlassian)AwarioSmartBot(Awario)bigsur.ai(Big Sur AI)Cotoyogi(Cotoyogi)Factset_spyderbot(Factset)GoogleOther(Google)Google-CloudVertexBot(Google)Google NotebookLM(Google)Google-Extended(Google)pangu(Huawei)Liner Bot(Liner Bot)Meta-ExternalAgent(Meta)Novellum AI Crawl(Novellum)GPTBot(OpenAI)ShapBot(Parallel)PerplexityBot(Perplexity)QualifiedBot(Qualified.com, Inc.)WARDBot(WEBSPARK)