自定义日志输出格式

功能简介

支持用户自定义日志数据的输出格式,包括选择不同的日志记录风格(如 JSON Lines 或 CSV)以及定义批次和单条日志的前后缀、日志记录或字段之间的分隔符。实时日志和离线日志的默认格式为 JSON Lines
说明:
目前仅实时日志-站点加速日志支持配置日志输出格式。

配置项

日志输出格式:日志投递的预设输出格式类型。
JSON Lines:单条日志中的字段以键值对方式呈现。
CSV:单条日志中仅呈现字段值,不呈现字段名称。
批次前后缀:用户可以为日志批次定义前缀和后缀。“一个批次”指的是一次日志推送请求。每个日志投递批次可能包含多条日志记录。
前缀:在每个日志投递批次之前添加的字符串。
后缀:在每个日志投递批次后附加的字符串。
单条日志前后缀
前缀:在每条日志记录之前添加的字符串。
后缀:在每条日志记录后附加的字符串。
说明:
在未开启日志采样或 筛选 的情况下,对于域名业务而言,一次 HTTP 请求对应一条日志记录。
日志分隔符:插入日志记录之间作为分隔符的字符串。
字段分隔符:单条日志记录内,插入字段之间作为分隔符的字符串。

示例配置

以下是不同日志输出格式配置对应的日志样本。

JSON Lines

配置示例

配置项
日志输出格式
JSON Lines
单条日志前缀
{
单条日志后缀
}
日志分隔符
\n
字段分隔符
,

输出日志样本

{"SecurityAction":"Deny","RequestID":"14941044941971548881","RequestTime":"2024-08-12T08:12:15Z","ClientIP":"1.1.1.1"}
{"SecurityAction":"Deny","RequestID":"14941045941971548882","RequestTime":"2024-08-12T08:12:30Z","ClientIP":"2.2.2.2"}

csv

配置示例

配置项
日志输出格式
csv
日志分隔符
\n
字段分隔符
,

输出日志样本

Deny,14941044941971548881,2024-08-12T08:12:15Z,1.1.1.1
Deny,14941045941971548882,2024-08-12T08:12:30Z,2.2.2.2

JSON Lines 变体

JSON 数组格式配置示例

配置项
日志输出格式
JSON Lines
批次前缀
[
批次后缀
]
单条日志前缀
{
单条日志后缀
}
日志分隔符
,
字段分隔符
,

JSON 数组格式输出日志样本

[
{"SecurityAction":"Deny","RequestID":"14941044941971548881","RequestTime":"2024-08-12T08:12:15Z","ClientIP":"1.1.1.1"},
{"SecurityAction":"Deny","RequestID":"14941045941971548882","RequestTime":"2024-08-12T08:12:30Z","ClientIP":"2.2.2.2"},
{"SecurityAction":"Allow","RequestID":"14941046941971548883","RequestTime":"2024-08-12T08:12:45Z","ClientIP":"3.3.3.3"}
]

内嵌 JSON 对象格式配置示例

配置项
日志输出格式
JSON Lines
批次前缀
{"events":[
批次后缀
]}
单条日志前缀
{"info":{
单条日志后缀
}}
日志分隔符
,
字段分隔符
,

内嵌 JSON 对象格式输出日志样本

{"events": [
{"info": {"SecurityAction":"Deny","RequestID":"14941044941971548881","RequestTime":"2024-08-12T08:12:15Z","ClientIP":"1.1.1.1"}},
{"info": {"SecurityAction":"Deny","RequestID":"14941045941971548882","RequestTime":"2024-08-12T08:12:30Z","ClientIP":"2.2.2.2"}}
]}

csv 变体

csv 携带表头格式配置示例

配置项
日志输出格式
csv
批次前缀
SecurityAction,RequestID,RequestTime,ClientIP\n
日志分隔符
\n
字段分隔符
,

csv 携带表头格式输出日志样本

SecurityAction,RequestID,RequestTime,ClientIP
Deny,14941044941971548881,2024-08-12T08:12:15Z,1.1.1.1
Deny,14941045941971548882,2024-08-12T08:12:30Z,2.2.2.2
Allow,14941046941971548883,2024-08-12T08:12:45Z,3.3.3.3

tsv 格式配置示例

配置项
日志输出格式
csv
日志分隔符
\n
字段分隔符
\t

tsv 格式输出日志样本

Deny 14941044941971548881 2024-08-12T08:12:15Z 1.1.1.1
Deny 14941045941971548882 2024-08-12T08:12:30Z 2.2.2.2
Allow 14941046941971548883 2024-08-12T08:12:45Z 3.3.3.3