Prometheus Targets、ServiceMonitor 与 Kubernetes 告警规则实战
一、为什么需要这次实验? 本篇解决监控平台的下一层问题:指标是否真的被发现并采集?报警表达式何时生效?告警最终是否抵达 Alertmanager? 实验目标: 区分 Service、ServiceMonitor、Target、PrometheusRule、Alertmanager 的职责; 在 demo 命名空间部署独立的可控 /metrics 测试端点(不修改正在使用的 nginx-demo); 在 monitoring 命名空间通过 ServiceMonitor 跨命名空间发现测试服务; 验证 Targets UP、自定义指标、PrometheusRule 的 Pending → Firing → Resolved; 了解告警规则与 Alertmanager 路由、通知之间的区别; 保存可复现的验收命令、截图及清理方式。 状态说明:以下是已编写并完成本地 YAML/脚本检查的可执行实验方案,不是对当前集群实时完成情况的断言。项目中的 #05 应在实际验证后再将 draft 改为 false。 二、当前实验环境 项目 环境信息 Kubernetes v1.28.15 管理节点 h11(192.168.6.11) 应用节点 h12,nativeopslab.io/role=app 可观测性节点 h15,nativeopslab.io/role=observability 监控命名空间 monitoring 已有 Demo demo/nginx-demo,已有 2 个运行副本(此前验收) 新建实验服务 demo/nativeopslab-metrics-demo,HTTP 9105 Prometheus / Grafana / Alertmanager 核心组件在 h15,已有 PVC Bound Helm Release monitoring(按此前部署记录) Chart 版本 此系列文档以 kube-prometheus-stack 65.8.1 为配置参考;以现场 helm list -n monitoring 为准 本篇不执行 Helm 升级,不改变 OpenEBS PVC,不删除已经运行的监控 Pod。 ...





