自定义日志输出格式
功能简介
支持用户自定义日志数据的输出格式,包括选择不同的日志记录风格(如 JSON Lines 或 CSV)以及定义批次和单条日志的前后缀、日志记录或字段之间的分隔符。实时日志和离线日志的默认格式为 JSON Lines。
说明:
目前仅实时日志-站点加速日志支持配置日志输出格式。
配置项
日志输出格式:日志投递的预设输出格式类型。
JSON Lines:单条日志中的字段以键值对方式呈现。
CSV:单条日志中仅呈现字段值,不呈现字段名称。
批次前后缀:用户可以为日志批次定义前缀和后缀。“一个批次”指的是一次日志推送请求。每个日志投递批次可能包含多条日志记录。
前缀:在每个日志投递批次之前添加的字符串。
后缀:在每个日志投递批次后附加的字符串。
单条日志前后缀:
前缀:在每条日志记录之前添加的字符串。
后缀:在每条日志记录后附加的字符串。
说明:
日志分隔符:插入日志记录之间作为分隔符的字符串。
字段分隔符:单条日志记录内,插入字段之间作为分隔符的字符串。
示例配置
以下是不同日志输出格式配置对应的日志样本。
JSON Lines
配置示例
配置项 | 值 |
日志输出格式 | JSON Lines |
单条日志前缀 | { |
单条日志后缀 | } |
日志分隔符 | \n |
字段分隔符 | , |
输出日志样本
{"SecurityAction":"Deny","RequestID":"14941044941971548881","RequestTime":"2024-08-12T08:12:15Z","ClientIP":"1.1.1.1"}{"SecurityAction":"Deny","RequestID":"14941045941971548882","RequestTime":"2024-08-12T08:12:30Z","ClientIP":"2.2.2.2"}
csv
配置示例
配置项 | 值 |
日志输出格式 | csv |
日志分隔符 | \n |
字段分隔符 | , |
输出日志样本
Deny,14941044941971548881,2024-08-12T08:12:15Z,1.1.1.1Deny,14941045941971548882,2024-08-12T08:12:30Z,2.2.2.2
JSON Lines 变体
JSON 数组格式配置示例
配置项 | 值 |
日志输出格式 | JSON Lines |
批次前缀 | [ |
批次后缀 | ] |
单条日志前缀 | { |
单条日志后缀 | } |
日志分隔符 | , |
字段分隔符 | , |
JSON 数组格式输出日志样本
[{"SecurityAction":"Deny","RequestID":"14941044941971548881","RequestTime":"2024-08-12T08:12:15Z","ClientIP":"1.1.1.1"},{"SecurityAction":"Deny","RequestID":"14941045941971548882","RequestTime":"2024-08-12T08:12:30Z","ClientIP":"2.2.2.2"},{"SecurityAction":"Allow","RequestID":"14941046941971548883","RequestTime":"2024-08-12T08:12:45Z","ClientIP":"3.3.3.3"}]
内嵌 JSON 对象格式配置示例
配置项 | 值 |
日志输出格式 | JSON Lines |
批次前缀 | {"events":[ |
批次后缀 | ]} |
单条日志前缀 | {"info":{ |
单条日志后缀 | }} |
日志分隔符 | , |
字段分隔符 | , |
内嵌 JSON 对象格式输出日志样本
{"events": [{"info": {"SecurityAction":"Deny","RequestID":"14941044941971548881","RequestTime":"2024-08-12T08:12:15Z","ClientIP":"1.1.1.1"}},{"info": {"SecurityAction":"Deny","RequestID":"14941045941971548882","RequestTime":"2024-08-12T08:12:30Z","ClientIP":"2.2.2.2"}}]}
csv 变体
csv 携带表头格式配置示例
配置项 | 值 |
日志输出格式 | csv |
批次前缀 | SecurityAction,RequestID,RequestTime,ClientIP\n |
日志分隔符 | \n |
字段分隔符 | , |
csv 携带表头格式输出日志样本
SecurityAction,RequestID,RequestTime,ClientIPDeny,14941044941971548881,2024-08-12T08:12:15Z,1.1.1.1Deny,14941045941971548882,2024-08-12T08:12:30Z,2.2.2.2Allow,14941046941971548883,2024-08-12T08:12:45Z,3.3.3.3
tsv 格式配置示例
配置项 | 值 |
日志输出格式 | csv |
日志分隔符 | \n |
字段分隔符 | \t |
tsv 格式输出日志样本
Deny 14941044941971548881 2024-08-12T08:12:15Z 1.1.1.1Deny 14941045941971548882 2024-08-12T08:12:30Z 2.2.2.2Allow 14941046941971548883 2024-08-12T08:12:45Z 3.3.3.3