首页 > 运维 > ELK > logstash获取nginx日志数据,插入elasticsearch后,会把索引中原有的数据删除,只留最新的一条
2020
02-21

logstash获取nginx日志数据,插入elasticsearch后,会把索引中原有的数据删除,只留最新的一条

如下图,永远只有一条日志数据,且是最新的一条

永远都只有这一条,日志表里最新的一条,最后一条

原因:

document id 为索引提供id,对重写elasticsearch中相同id词目很有用,但是记住了你提供的这个id不能重复,不能这一条是这个id下一条日志记录还是这个id,这样就会出现数据覆盖,后一条数据永远覆盖前面一条,因为id相同的原因。

来看看你的kibana 日志数据

解决办法:

1.注释掉这一项,不设置,让系统默认为每条日志分配id

2.

继续实验

注释掉这个我们试试

重启logstash

id不重复,数据也不会被覆盖。

(完)

最后编辑:
作者:shooter
这个作者貌似有点懒,什么都没有留下。