Bot 智能分析
功能概述
Bot 智能分析适用于需要快速部署,识别并分析网站流量模式的情况。Bot 智能分析基于聚类分析算法和大数据模型的智能引擎,旨在帮助您从多种角度综合判断请求风险,更便捷地使用 Bot 管理快速识别和处理已知或未知 Bot,避免固定单一的策略被绕过。Bot 智能分析将通过对多个因素进行综合分析,将请求分类为正常请求、正常Bot请求、疑似Bot请求以及恶意Bot请求,并支持对不同类型的请求进行相应的处置方式配置。
说明:
Bot 智能分析综合了 Bot 基础管理和客户端画像分析功能中的请求特点,并结合动态聚类分析,形成请求风险标签。Bot 智能分析可以帮助您了解整体访客情况并快速部署Bot管理策略。如您对于请求特征有非常明确的策略要求(例如:放行特定搜索引擎请求、拦截Web开发工具请求等),您可以进一步使用 Bot 基础管理、客户端画像分析和自定义 Bot 规则进行策略调整。
操作步骤
例如:电商站点
shop.example.com
发现商品展示页面访问用量突增,判断可能遭受了大量的 Bot 访问,通过 Bot 智能分析策略可快速启用 Bot 管理功能对 Bot 工具进行拦截。您可以参照以下步骤操作:1. 登录边缘安全加速平台 EO控制台,在左侧菜单栏中,单击站点列表,在站点列表内单击需配置的站点,进入站点详情页面。
2. 单击安全防护 > Web 防护。默认为站点级防护策略,单击域名级防护策略 Tab,在域名级防护策略中,单击目标域名进入目标域名防护策略配置界面,例如:
shop.example.com
。3. 定位到 Bot 管理卡片,单击 Bot 智能分析下方的编辑,进入配置页面。
4. 配置各 Bot 分析标签的相应处置方式。以当前场景为例,可配置恶意 Bot 请求的处置方式为 JavaScript 挑战,疑似 Bot 请求和友好 Bot 请求保持为观察即可。
5. 单击保存,完成配置。
相关参考
请求的 Bot 标签
Bot 智能分析根据分析结果,将请求分类成下列类型:
恶意 Bot 请求:来自 Bot 的请求,风险较高,建议配置为拦截或者挑战处置动作。
疑似 Bot 请求:来自 Bot 客户端的请求,有一定风险,建议至少配置为观察或者挑战处置动作。
正常 Bot 请求:合法爬虫请求,包括来自搜索引擎爬虫的请求。
正常请求:客户端不具备明显 Bot 特征的请求,仅支持放行处置方式。
影响 Bot 智能分析判定的相关因素
Bot智能分析引擎将根据以下几个主要因素对请求进行综合评估:
1. 请求速率:请求速率会影响 Bot 的识别结果,过高的请求速率可能存在恶意 Bot 行为。
2. IP 情报库:引擎将参考 IP 情报库,识别是否有恶意行为记录或黑名单信息。
3. 搜索引擎特征:根据源IP是否匹配合法搜索引擎爬虫,例如谷歌、百度等。
4. 访问 URL 序列:分析访问 URL 的顺序和规律,以评估请求是否类似于正常用户行为或正常 Bot 行为。
5. JA3 指纹注1:利用 JA3 指纹技术识别客户端 TLS 连接的特征,以识别 Python 工具等非浏览器客户端。
6. BotnetID 指纹注2:通过分析 BotnetID 指纹,对比已知恶意 BotnetID,识别来自僵尸网络的恶意爬虫行为。
说明:
注1:
JA3是一种针对 TLS 客户端握手过程中的特征进行指纹生成的方法。通过收集客户端在TLS握手过程中提供的信息(如支持的加密套件、扩展等),生成一个唯一的哈希值作为指纹。JA3指纹可以帮助我们识别出使用特定工具或库发起请求的客户端,例如使用 Python 库发起的请求。通过对比客户端的JA3指纹与已知的恶意工具或库的指纹,我们可以更准确地识别潜在的恶意Bot行为。
注2:
BotnetID 是一种基于 Bot 网络行为特征的识别方法。Bot 网络(Botnet)通常由多个被控制的恶意设备组成,它们可能用于发起攻击或执行其他恶意活动。通过分析客户端行为特征及其与已知 Bot 网络的相似性,可以生成一个 BotnetID。通过对比客户端的 BotnetID 与已知的恶意 Bot 网络 ID,我们可以更准确地识别潜在的恶意 Bot 行为。