Docs Overview/
自定义日志输出格式/

自定义日志输出格式

功能简介

支持用户自定义日志数据的输出格式，包括选择不同的日志记录风格（如 JSON Lines 或 CSV）以及定义批次和单条日志的前后缀、日志记录或字段之间的分隔符。实时日志和离线日志的默认格式为 JSON Lines。
说明：
目前仅实时日志-站点加速日志支持配置日志输出格式。

配置项

日志输出格式：日志投递的预设输出格式类型。
JSON Lines：单条日志中的字段以键值对方式呈现。
CSV：单条日志中仅呈现字段值，不呈现字段名称。
批次前后缀：用户可以为日志批次定义前缀和后缀。“一个批次”指的是一次日志推送请求。每个日志投递批次可能包含多条日志记录。
前缀：在每个日志投递批次之前添加的字符串。
后缀：在每个日志投递批次后附加的字符串。
单条日志前后缀：
前缀：在每条日志记录之前添加的字符串。
后缀：在每条日志记录后附加的字符串。
说明：
在未开启日志采样或 筛选 的情况下，对于域名业务而言，一次 HTTP 请求对应一条日志记录。
日志分隔符：插入日志记录之间作为分隔符的字符串。
字段分隔符：单条日志记录内，插入字段之间作为分隔符的字符串。

示例配置

以下是不同日志输出格式配置对应的日志样本。

JSON Lines

配置示例

配置项
值
日志输出格式
JSON Lines
单条日志前缀
{
单条日志后缀
}
日志分隔符
\n
字段分隔符
,

输出日志样本

{"SecurityAction":"Deny","RequestID":"14941044941971548881","RequestTime":"2024-08-12T08:12:15Z","ClientIP":"1.1.1.1"}
{"SecurityAction":"Deny","RequestID":"14941045941971548882","RequestTime":"2024-08-12T08:12:30Z","ClientIP":"2.2.2.2"}

csv

配置示例

配置项
值
日志输出格式
csv
日志分隔符
\n
字段分隔符
,

输出日志样本

Deny,14941044941971548881,2024-08-12T08:12:15Z,1.1.1.1
Deny,14941045941971548882,2024-08-12T08:12:30Z,2.2.2.2

JSON Lines 变体

JSON 数组格式配置示例

配置项
值
日志输出格式
JSON Lines
批次前缀
[
批次后缀
]
单条日志前缀
{
单条日志后缀
}
日志分隔符
,
字段分隔符
,

JSON 数组格式输出日志样本

[
    {"SecurityAction":"Deny","RequestID":"14941044941971548881","RequestTime":"2024-08-12T08:12:15Z","ClientIP":"1.1.1.1"},
    {"SecurityAction":"Deny","RequestID":"14941045941971548882","RequestTime":"2024-08-12T08:12:30Z","ClientIP":"2.2.2.2"},
    {"SecurityAction":"Allow","RequestID":"14941046941971548883","RequestTime":"2024-08-12T08:12:45Z","ClientIP":"3.3.3.3"}
]

内嵌 JSON 对象格式配置示例

配置项
值
日志输出格式
JSON Lines
批次前缀
{"events":[
批次后缀
]}
单条日志前缀
{"info":{
单条日志后缀
}}
日志分隔符
,
字段分隔符
,

内嵌 JSON 对象格式输出日志样本

{"events": [
        {"info": {"SecurityAction":"Deny","RequestID":"14941044941971548881","RequestTime":"2024-08-12T08:12:15Z","ClientIP":"1.1.1.1"}},
        {"info": {"SecurityAction":"Deny","RequestID":"14941045941971548882","RequestTime":"2024-08-12T08:12:30Z","ClientIP":"2.2.2.2"}}
]}

csv 变体

csv 携带表头格式配置示例

配置项
值
日志输出格式
csv
批次前缀
SecurityAction,RequestID,RequestTime,ClientIP\n
日志分隔符
\n
字段分隔符
,

csv 携带表头格式输出日志样本

SecurityAction,RequestID,RequestTime,ClientIP
Deny,14941044941971548881,2024-08-12T08:12:15Z,1.1.1.1
Deny,14941045941971548882,2024-08-12T08:12:30Z,2.2.2.2
Allow,14941046941971548883,2024-08-12T08:12:45Z,3.3.3.3

tsv 格式配置示例

配置项
值
日志输出格式
csv
日志分隔符
\n
字段分隔符
\t

tsv 格式输出日志样本

Deny  14941044941971548881  2024-08-12T08:12:15Z  1.1.1.1
Deny  14941045941971548882  2024-08-12T08:12:30Z  2.2.2.2
Allow  14941046941971548883  2024-08-12T08:12:45Z  3.3.3.3