EFK组件
- Elasticsearch (分布式集群搜索)
- Fluentd (日志收集转发)
- Kibana (面板操作查询)
原理：
k8s集群的pod日志需要收集分析，这个大家都懂，pod的日志存放在 /var/log/containers/ 这个目录
1.我们会把这个(/var/log/containers/)日志目录挂载到 fluentd,
2.fluentd负责吧数据传递至eastlastsearch(集群),
3.然后通过kibana对eastlastsearch日志进行查看
准备工作
|
1 2 |
1.添加 Google incubator 仓库 helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator |
提示：无论部署efk 还是 elk , Elasticsearch 和 kibana 的版本一定要一致，否则会报错。
多说一句
|
1 |
如果你的机器没有20G的内存，建议你不要尝试Elasticsearch他的默认配置。否则pod会一直重启，因为资源不足。 |
1.部署 Elasticsearch
创建一个命名空间 efk 都放在这个命名空间下
|
1 |
kubectl create namespace efk |
构建
|
1 2 3 4 5 |
helm fetch incubator/elasticsearch 解压：tar -zxf elasticsearch-1.10.2.tgz cd elasticsearch/ |
我这里因为机器内存不足所以必须修改elasticsearch配置 节点都精简为1个 并且关闭pvc
vim value.yaml (部分区域修改 参照底下图片)
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
MINIMUM_MASTER_NODES: "2" #这句话的意思是至少得有2个节点，才能构成集群这样的一个环境，由于我的机器只有16G内存3台机器一起开 受不了 ，我就改为1台,如果你有10台机器可以写个10 相对下面这些选项都可以增大 replicas: 1 #客户端也改为1个 master>replicas: 1 #master节点也改为1个 enabled: false #这里的持久卷我们没有创建所以不需要 改为false data: name: data exposeHttp: false replicas: 1 #这里也改为1个节点 heapSize: "1536m" persistence: enabled: false #pvc 改为false accessMode: ReadWriteOnce name: data size: "30Gi" |
安装
|
1 |
helm install --name els1 --namespace=efk -f values.yaml incubator/elasticsearch |
|
1 2 3 |
kubectl run cirror-$RANDOM --rm -it --image=cirros -- /bin/sh #curl Elasticsearch:Port/_cat/nodes |
部署 Fluentd
|
1 2 3 4 5 6 |
helm fetch stable/fluentd-elasticsearch #更改value.yaml 更改其中 Elasticsearch 访问地址为你的集群访问地址(如果只有一个节点就写这个一台elast地址,如果是集群写本机地址) |
安装：
|
1 |
helm install --name flu1 --namespace=efk -f values.yaml stable/fluentd-elasticsearch |
|
1 2 |
#查看 kubectl get pod -n efk |
部署 kibana
|
1 2 3 4 5 6 7 |
helm fetch stable/kibana --version 0.14.8 这里的版本一定要和es对应否则报错,这里的0.14.8正好内部对应6.4.2 #同样打开修改value中的 elasticsearch地址 #在value.yaml 中有kibana的镜像地址 ，最好先用docker pull 下来 注意这里的版本。 |
安装：
|
1 |
helm install --name kib1 --namespace=efk -f values.yaml stable/kibana --version 0.14.8 |
安装完成后查看svc
|
1 |
kubectl get svc -n efk |
你可以看到kibana的svc 修改他的type类型为NodePort 你就可以从宿主机用ip加端口访问了
- 本文固定链接: https://www.yoyoask.com/?p=2496
- 转载请注明: shooter 于 SHOOTER 发表
这个作者貌似有点懒，什么都没有留下。