Nginx 日志改成 JSON 格式

 Nginx 日志改成 JSON 格式

Nginx 日志默认为普通文本的格式，例如，下面是 Nginx 的一行访问日志：

10.88.122.105 - - [02/Dec/2017:09:15:04 +0800] "GET /js/pagination.js HTTP/1.1" 304 0 "http://10.88.105.20:8063/stockrecommand.html" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)" "-" 0.000

为了便于利用 Elastic Stack 日志平台收集展示 Nginx 的日志，可以将 Nginx 的日志改成 json 的格式。修改后的 json 日志格式如下所示：

{ "@timestamp": "12/Dec/2017:14:30:40 +0800", "remote_addr": "10.88.122.108", "referer": "-", "request": "GET / HTTP/1.1", "status": 304, "bytes":0, "agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36", "x_forwarded": "-", "up_addr": "-","up_host": "-","up_resp_time": "-","request_time": "0.000" }

为了修改 Nginx 的日志格式改成 json，需要修改 Nginx 的配置文件，笔者 Nginx 的配置文件为 /usr/local/nginx/conf/nginx.conf。

http {

   include       mime.types;

   default_type  application/octet-stream;

   charset  utf-8;

   log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

                     '$status $body_bytes_sent "$http_referer" '

                     '"$http_user_agent" "$http_x_forwarded_for" $request_time';

   log_format log_json '{ "@timestamp": "$time_local", '

'"remote_addr": "$remote_addr", '

'"referer": "$http_referer", '

'"request": "$request", '

'"status": $status, '

'"bytes": $body_bytes_sent, '

'"agent": "$http_user_agent", '

'"x_forwarded": "$http_x_forwarded_for", '

'"up_addr": "$upstream_addr",'

'"up_host": "$upstream_http_host",'

'"up_resp_time": "$upstream_response_time",'

'"request_time": "$request_time"'

' }';

   access_log  logs/access.log log_json;

   (省略内容)

}

在 Nginx 的配置文件nginx.conf中，我们定义了两种的日志格式：main和log_json，其中，main为普通的文本格式，log_json为 json 格式。log_json其实就是手工构造一个 json 字符串。定义了 json 的日志格式后，便可以指定 access log 为 json 格式：

access_log logs/access.log log_json;

修改 Nginx 的配置，重启 Nginx ，便可以看到 json 格式的日志，重启 Nginx：

nginx -s reload

实例配置：

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

                     '$status $body_bytes_sent "$http_referer" '

                     '"$http_user_agent" "$http_x_forwarded_for" "$request_time"';

   log_format log_json '{ "@timestamp": "$time_local", '

                       '"remote_addr": "$remote_addr", '

                       '"referer": "$http_referer", '

                       '"request": "$request", '

                       '"status": $status, '

                       '"bytes": $body_bytes_sent, '

                       '"agent": "$http_user_agent", '

                       '"x_forwarded": "$http_x_forwarded_for", '

                      # '"up_addr": "$upstream_addr",'

                      # '"up_host": "$upstream_http_host",'

                      # '"up_resp_time": "$upstream_response_time",'

                       '"request_time": "$request_time"'

                       ' }';

access_log  /var/log/nginx/access.log  log_json;

nginx 日志输出格式

{ "@timestamp": "13/Feb/2019:02:26:36 +0000", "remote_addr": "172.20.1.238", "referer": "-", "request": "GET / HTTP/1.1", "status": 304, "bytes": 0, "agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36", "x_forwarded": "125.118.223.90", "request_time": "0.000" }