首页 > 运维 > Linux > 使用logstash抓取nginx日志分析
2019
12-13

使用logstash抓取nginx日志分析

1.安装配置nginx(nginx安装请看这里 传送门)

2.配置nginx日志格式

配置nginx.conf文件

网站域名配置文件(注意我的配置文件放在/usr/local/nginx/conf/vhost/下)

配置文件解析

重启nginx , 用浏览器访问你的域名看是否正常

3.配置logstash

logstash编码插件(Codec)

编码插件(codec)可以在logstash输入或输出时处理不同类型的数据,同时,还可以更好更方便的与其他自定义格式的数据产品共存,比如:fluent、netflow、collectd等通用数据格式的其他产品。因此,logstash不只是一个input–>filter–>output的数据流,而且是一个input–>decode–>filter–>encode–>output的数据流。

codec支持的编码格式常见有plain、json、json_lines等,下面依次介绍:

1、codec插件之plain(原样输出)

plain是最简单的编码插件,你输入什么信息,就返回什么信息,诸如你配置文件中定义的timestamp、type等都不会带有:

2. codec插件之json、json_lines

有时候logstash采集的日志是JSON格式,那我们可以在input字段加入codec => json来进行解析,这样就可以根据具体内容生成字段,方便分析和储存。如果想让logstash输出为json格式,可以在output字段加入codec=>json。下面是一个包含json编码的时间配置文件:

下面是我自己的配置代码(无注释版):

还有一个文件不能忘,就是输出到elastsearch ,以template指定的模型作为索引模型,这个模型我们需要创建

mynginxtemplate.json

配置完这些后,重启logstash

关于使用配置文件启动logstash,这里有话要说

赞赏

微信赞赏支付宝赞赏

最后编辑:
作者:shooter
这个作者貌似有点懒,什么都没有留下。

留下一个回复

你的email不会被公开。

请留下电子邮件,有新评论/回复,会收到电子邮件通知。你也不需要留评论就可以订阅。