一、为什么需要这次实验?
本篇解决监控平台的下一层问题:指标是否真的被发现并采集?报警表达式何时生效?告警最终是否抵达 Alertmanager?
实验目标:
- 区分
Service、ServiceMonitor、Target、PrometheusRule、Alertmanager的职责; - 在
demo命名空间部署独立的可控/metrics测试端点(不修改正在使用的 nginx-demo); - 在
monitoring命名空间通过 ServiceMonitor 跨命名空间发现测试服务; - 验证 Targets
UP、自定义指标、PrometheusRule 的Pending → Firing → Resolved; - 了解告警规则与 Alertmanager 路由、通知之间的区别;
- 保存可复现的验收命令、截图及清理方式。
状态说明:以下是已编写并完成本地 YAML/脚本检查的可执行实验方案,不是对当前集群实时完成情况的断言。项目中的
#05应在实际验证后再将draft改为false。
二、当前实验环境
| 项目 | 环境信息 |
|---|---|
| Kubernetes | v1.28.15 |
| 管理节点 | h11(192.168.6.11) |
| 应用节点 | h12,nativeopslab.io/role=app |
| 可观测性节点 | h15,nativeopslab.io/role=observability |
| 监控命名空间 | monitoring |
| 已有 Demo | demo/nginx-demo,已有 2 个运行副本(此前验收) |
| 新建实验服务 | demo/nativeopslab-metrics-demo,HTTP 9105 |
| Prometheus / Grafana / Alertmanager | 核心组件在 h15,已有 PVC Bound |
| Helm Release | monitoring(按此前部署记录) |
| Chart 版本 | 此系列文档以 kube-prometheus-stack 65.8.1 为配置参考;以现场 helm list -n monitoring 为准 |
本篇不执行 Helm 升级,不改变 OpenEBS PVC,不删除已经运行的监控 Pod。
三、理解监控数据流
应用 Pod (/metrics, 9105)
↓
Service (demo/nativeopslab-metrics-demo)
↑ 被 label selector 匹配
ServiceMonitor (monitoring/nativeopslab-metrics-demo)
↑ 被 Prometheus 的 ServiceMonitor selectors 匹配
Prometheus → Targets → 时间序列存储
↓ ↓
PrometheusRule Grafana 查询
↓
Pending → Firing → Resolved
↓
Alertmanager(路由、分组、静默、通知)
- Service:给 Pod 提供稳定的访问入口;
- ServiceMonitor:描述去哪个 Service、哪个命名空间、哪个具名端口抓取指标;
- Target:Prometheus 配置生成后,实际可抓取的端点;
- PrometheusRule:定义记录规则与告警规则;
- Alertmanager:接收 Prometheus 发出的告警,并进行分组、抑制、路由、通知。
ServiceMonitor.spec.endpoints[].port 指向 Service 的端口名称,不是随意填写的端口数字。Prometheus Operator 也会用资源标签和命名空间选择器决定哪些 ServiceMonitor、PrometheusRule 真正被加载。
四、Step 01:安装前检查(h11)
kubectl get nodes -L nativeopslab.io/role
kubectl get ns demo monitoring
kubectl -n monitoring get pods,pvc -o wide
kubectl -n monitoring get prometheus,alertmanager
kubectl -n monitoring get svc | grep -E 'prometheus|alertmanager|grafana'
helm list -n monitoring
最关键的一步:先获取正在运行的 Prometheus CR 的实际选择器:
kubectl -n monitoring get prometheus -o yaml | \
grep -A 8 -E '^ (serviceMonitorSelector|serviceMonitorNamespaceSelector|ruleSelector|ruleNamespaceSelector):'
或者运行打包文件中的 bash 05-validation.sh,会同时输出这些选择器和进行 server-side dry-run。
重点理解四个字段:
| 字段 | 含义 |
|---|---|
serviceMonitorSelector | 哪些标签的 ServiceMonitor 被采纳 |
serviceMonitorNamespaceSelector | 从哪些命名空间寻找 ServiceMonitor |
ruleSelector | 哪些标签的 PrometheusRule 被采纳 |
ruleNamespaceSelector | 从哪些命名空间寻找 PrometheusRule |
本示例把两个 CR 都放在 monitoring 命名空间,标签使用 release: monitoring。这是 Helm Release 名称为 monitoring 时的典型用法,仍须以现场 Prometheus CR 输出为准。若选择器不匹配,只修改新建实验资源的标签,先不要覆盖生产监控的 Helm Values。
五、Step 02:部署独立的 /metrics 服务
随文提供 01-nativeopslab-metrics-demo.yaml,包含:
- ConfigMap:用 Python 标准库提供
/metrics、/healthz、/test、/test-error; - Deployment:1 副本,使用
python:3.12-alpine,通过nodeSelector优先安排至 h12; - Service:ClusterIP,端口名称为
metrics,端口 9105。
核心指标格式:
# HELP nativeopslab_lab_ready Synthetic lab service readiness.
# TYPE nativeopslab_lab_ready gauge
nativeopslab_lab_ready 1
# HELP nativeopslab_lab_requests_total Synthetic lab HTTP requests.
# TYPE nativeopslab_lab_requests_total counter
nativeopslab_lab_requests_total{result="ok"} 0
nativeopslab_lab_requests_total{result="error"} 0
这些是教学用合成指标,不代表已经从 nginx-demo 采集到真实 HTTP QPS。
部署:
kubectl apply -f 01-nativeopslab-metrics-demo.yaml
kubectl -n demo rollout status deployment/nativeopslab-metrics-demo --timeout=180s
kubectl -n demo get pod,svc -l app.kubernetes.io/name=nativeopslab-metrics-demo -o wide
kubectl -n demo get endpointslice -l kubernetes.io/service-name=nativeopslab-metrics-demo
如果显示 ImagePullBackOff,先检查镜像仓库连通性;如果 Pending,检查 h12 的 Node Label、资源和调度条件。不要为了让实验通过而随意覆盖现有节点标签。
临时验证指标端点(使用两个终端):
终端 A:
kubectl -n demo port-forward svc/nativeopslab-metrics-demo 9105:9105
终端 B:
curl -fsS http://127.0.0.1:9105/healthz
curl -fsS http://127.0.0.1:9105/metrics
curl -fsS http://127.0.0.1:9105/test
curl -fsS http://127.0.0.1:9105/metrics
确认响应中存在 nativeopslab_lab_ready 1。关闭终端 A 的端口转发即可恢复端口占用。
六、Step 03:创建 ServiceMonitor 并检查 Targets
02-servicemonitor.yaml 核心配置如下:
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: nativeopslab-metrics-demo
namespace: monitoring
labels:
release: monitoring
spec:
namespaceSelector:
matchNames: [demo]
selector:
matchLabels:
app.kubernetes.io/name: nativeopslab-metrics-demo
endpoints:
- port: metrics
path: /metrics
interval: 15s
scrapeTimeout: 10s
注意两个选择器的不同:Prometheus 的
serviceMonitorSelector选择 ServiceMonitor 资源;ServiceMonitor 的spec.selector选择 Service 资源。再通过namespaceSelector选择 Service 所在的demo命名空间。
创建:
kubectl apply -f 02-servicemonitor.yaml
kubectl -n monitoring get servicemonitor nativeopslab-metrics-demo --show-labels
kubectl -n monitoring describe servicemonitor nativeopslab-metrics-demo
查看 Prometheus 服务名称:
kubectl -n monitoring get svc | grep prometheus
若实际服务名为 monitoring-kube-prometheus-prometheus,则在 h11 执行:
kubectl -n monitoring port-forward \
svc/monitoring-kube-prometheus-prometheus 9090:9090
浏览器可通过 SSH 本地转发,或直接从 h11 curl 测试 http://127.0.0.1:9090/targets。不要将 Prometheus 管理界面直接暴露到互联网。
Prometheus Web → Status → Targets,检索 nativeopslab-metrics-demo,期望出现一个 UP Target;这只表示成功抓取 /metrics,不代表应用全部业务接口健康。
在 Graph / Explore 测试:
up{namespace="demo",service="nativeopslab-metrics-demo"}
期望为 1。然后测试:
nativeopslab_lab_ready{namespace="demo"}
以及:
sum(rate(nativeopslab_lab_requests_total{namespace="demo"}[2m]))
第三条需要先调用 /test 或 /test-error 才能看到非零增量,而且 counter 至少需要两个抓取样本;部署完成之后短时间的 No data 可能只是样本不足。
七、Step 04:创建常规 Kubernetes 告警规则
03-prometheus-rules.yaml 提供三个独立告警:
NativeOpsLabDemoTargetDown:目标已被发现,但持续 2 分钟up == 0;NativeOpsLabDemoTargetMissing:找不到匹配的up时间序列,持续 3 分钟;NativeOpsLabDemoErrorTraffic:合成测试服务持续产生 503 请求,检测到错误请求速率后超过 1 分钟。
其中 up == 0 与 absent(up{...}) 必须区分:目标消失后,往往不再存在当前的 up=0 序列,因此不能仅靠 up == 0 检出所有服务缺失场景。
部署:
kubectl apply -f 03-prometheus-rules.yaml
kubectl -n monitoring get prometheusrule nativeopslab-lab05-target-rules --show-labels
kubectl -n monitoring describe prometheusrule nativeopslab-lab05-target-rules
Prometheus Web → Status → Rules,查找 nativeopslab.lab05.targets,确认规则已加载。
八、Step 05:安全验证告警 Pending / Firing / Resolved
方案 A:临时、可删除的测试告警(推荐先做)
文件 04-test-only-always-firing.yaml 中有一条专门用于实验的告警:
- alert: NativeOpsLabLab05TestOnly
expr: vector(1)
for: 1m
labels:
severity: info
lab_only: 'true'
执行前检查 Alertmanager 的通知路由。如果已有邮件、短信等真实接收器,不应无准备地触发通知;可先为 lab_only=true 配置合适的测试路由或静默,然后执行。
创建:
kubectl apply -f 04-test-only-always-firing.yaml
随后观察 Prometheus Alerts 页面中的状态:
- Inactive:规则没有有效结果或尚未开始;
- Pending:表达式成立,但
for: 1m未满足; - Firing:表达式持续成立,满足
for; - Resolved:表达式不再成立或规则被移除后,进入结束流程。
说明:告警规则评估周期和 Alertmanager 路由有延迟,不保证严格 60 秒触发。
测试后立即删除临时规则:
kubectl delete -f 04-test-only-always-firing.yaml
等待下一轮评估,再检查 Prometheus Alerts 页面和 Alertmanager(如有路由、静默和分组设置,展示可能不同)。
方案 B:模拟应用错误请求(更接近业务告警)
保留第六步启动的 port-forward,在另一个终端执行一个有边界的错误请求测试:
for i in $(seq 1 30); do
curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1:9105/test-error
sleep 4
done
只会访问隔离实验 Service 的 /test-error,不会影响 nginx-demo 或外部网站。这 30 次请求持续约 2 分钟,让自定义 nativeopslab_lab_requests_total{result="error"} 计数增长。观察:
sum(rate(nativeopslab_lab_requests_total{namespace="demo",result="error"}[2m]))
然后检查 NativeOpsLabDemoErrorTraffic 是否从 Pending 进入 Firing,停止发送后等 2 分钟窗口滑出并观察恢复。
九、Step 06:验证 Alertmanager,理解通知与告警的区别
先查 Service:
kubectl -n monitoring get svc | grep alertmanager
如果存在 monitoring-kube-prometheus-alertmanager:
kubectl -n monitoring port-forward \
svc/monitoring-kube-prometheus-alertmanager 9093:9093
在 h11 访问 http://127.0.0.1:9093,检查 Alertmanager 是否收到实验告警。
三个不同验收层级:
| 层级 | 检查位置 | 代表什么 |
|---|---|---|
| 规则生效 | Prometheus → Status → Rules | PrometheusRule 已加载 |
| Firing | Prometheus → Alerts | 条件满足并触发告警 |
| 接收/通知 | Alertmanager / 接收端 | 告警成功被 Alertmanager 接收;通知是否送达需进一步验证 |
Firing 不等于邮件发送成功,Alertmanager 可能存在 Silence、Inhibition、路由不匹配或者接收端故障。
十、Step 07:常见故障排查
1. Targets 中根本没有实验服务
kubectl -n monitoring get prometheus -o yaml
kubectl -n monitoring get servicemonitor nativeopslab-metrics-demo --show-labels
kubectl -n demo get svc nativeopslab-metrics-demo --show-labels
kubectl -n demo get endpointslice -l kubernetes.io/service-name=nativeopslab-metrics-demo
重点逐层检查 Prometheus CR 选择器 → ServiceMonitor 标签/命名空间 → Service 标签 → EndpointSlice 后端。
2. Target 已发现,但显示 DOWN
检查 Pod 是否健康、端口是否确实叫 metrics、/metrics 返回是否为 HTTP 200;再检查 NetworkPolicy 或 Cilium 策略。不要先修改 Prometheus 默认全局设置。
kubectl -n demo get pods -l app.kubernetes.io/name=nativeopslab-metrics-demo -o wide
kubectl -n demo logs deployment/nativeopslab-metrics-demo --tail=100
kubectl -n demo get networkpolicy
3. /metrics 可以 curl,但 PromQL 没数据
优先检查实际 Targets 和标签;原生 up 的标签可以通过 Prometheus Graph 直接查看。rate() 必须有足够的样本数据,且短时间无请求时 counter rate 可能是 0,不等于没有采集。
4. PrometheusRule 存在,却没有出现在规则页面
检查 ruleSelector、ruleNamespaceSelector、release: monitoring 标签是否匹配;再检查 Operator 日志和 Prometheus 规则页面里的错误信息。
kubectl -n monitoring get prometheusrule nativeopslab-lab05-target-rules -o yaml
kubectl -n monitoring get prometheus -o yaml
kubectl -n monitoring get deploy | grep operator
5. Prometheus Firing 了,但没有通知
检查 Alertmanager 是否收到、静默、路由、接收器、分组等待与通知日志;不应因此重建 PVC 或删除监控 Pod。
十一、Yaml文件:
https://mega.nz/file/X51XkSCT#FOEgymJRfD2kmhQ3xdJW9RhknA5alGQ2Pp17phIBTkQ
https://mega.nz/file/35VxwbjZ#629v2-vv9IHUv800PL0il915RoN9ic2Diz-koUVWQ1w
https://mega.nz/file/6oViAJqB#I1MqlgdReYkCYUWHihO2gJ9QIU-WixJKOG9ytMkjfls
https://mega.nz/file/f4cTzaKS#eFjlcuU2Lg8GHx3hL8m2TmTVljvUEpMBpaRXT66TrM4
https://mega.nz/file/P5NmUCjL#UAIUDxMJXgBrBzVUSdpE-tnYQQfnKJESgr0YxWh5944
十二、总结:监控不只是 Pod Running
真正有效的监控需要依次验收:
应用实际暴露指标
→ Kubernetes Service 可达
→ ServiceMonitor 正确匹配
→ Prometheus Target UP
→ PromQL 查询有可信数据
→ PrometheusRule 正确计算
→ Alertmanager 收到告警
→ 接收端真正收到通知(如有配置)
Targets UP 证明采集通路可用;告警 Firing 证明表达式条件满足;通知送达需要独立验收。 这三者不应混为一谈。
资料依据:Prometheus Operator API Reference / Getting Started、Prometheus 官方 Alerting Rules 文档,以及 kube-prometheus-stack 65.8.1 对应的官方 Values。具体 YAML 和选择器必须以现场集群为准。

