k8s上搭建loki日志服务并通过prometheus进行错误日志告警

前言

prometheus 和 loki的基础概念就不赘述了，如需查看请先移步到官网
prometheus -> https://prometheus.io/
loki -> https://grafana.com/oss/loki/

要解决的问题

之前测试环境搭建Loki采集日志没有设置ERROR级别告警的需求，现在正式环境需要添加日志告警了，最开始是直接通过grafana面板自带的告警，但是感觉不太好使（也许是我配置的问题，很多本该告警的时候没有告警），所以还是通过prometheus结合自己写的hook来进行告警

这里也简单说下grafana上添加Loki日志告警需要注意的一点:

1. 添加datasource 选择prometheus 但是在填写路径的时候并不是直接 http://loki地址:3100 而是 http://loki地址:3100/loki
2. 规则什么的比较简单 eg: count_over_time({container="xy-xxxx"} |= "INFO"[1m]) 就是查询一分钟container="xy-xxxx"日志中包含了INFO关键字的个数

进入正题

loki 和 Prometheus-operator 的安装可以参考 https://www.infracloud.io/blogs/grafana-loki-log-monitoring-alerting/

这篇只说在过程中需要注意的问题

1. 我按照https://www.infracloud.io/blogs/grafana-loki-log-monitoring-alerting/ 教程中自定义的values.yaml文件会出现一些错误，所以我直接修改的helm包里面具体的字段 ，然后安装没有问题
2. 需要增加自定义应用日志筛选

自定义应用日志筛选思路

k8s上搭建loki日志服务并通过prometheus进行错误日志告警

原文：https://www.cnblogs.com/zunwen/p/14080696.html