一、为什么需要这次实验?

本篇解决监控平台的下一层问题:指标是否真的被发现并采集?报警表达式何时生效?告警最终是否抵达 Alertmanager?

实验目标:

  1. 区分 Service、ServiceMonitor、Target、PrometheusRule、Alertmanager 的职责;
  2. 在 demo 命名空间部署独立的可控 /metrics 测试端点(不修改正在使用的 nginx-demo);
  3. 在 monitoring 命名空间通过 ServiceMonitor 跨命名空间发现测试服务;
  4. 验证 Targets UP、自定义指标、PrometheusRule 的 Pending → Firing → Resolved;
  5. 了解告警规则与 Alertmanager 路由、通知之间的区别;
  6. 保存可复现的验收命令、截图及清理方式。

状态说明:以下是已编写并完成本地 YAML/脚本检查的可执行实验方案,不是对当前集群实时完成情况的断言。项目中的 #05 应在实际验证后再将 draft 改为 false。

二、当前实验环境

项目环境信息
Kubernetesv1.28.15
管理节点h11(192.168.6.11)
应用节点h12,nativeopslab.io/role=app
可观测性节点h15,nativeopslab.io/role=observability
监控命名空间monitoring
已有 Demodemo/nginx-demo,已有 2 个运行副本(此前验收)
新建实验服务demo/nativeopslab-metrics-demo,HTTP 9105
Prometheus / Grafana / Alertmanager核心组件在 h15,已有 PVC Bound
Helm Releasemonitoring(按此前部署记录)
Chart 版本此系列文档以 kube-prometheus-stack 65.8.1 为配置参考;以现场 helm list -n monitoring 为准

本篇不执行 Helm 升级,不改变 OpenEBS PVC,不删除已经运行的监控 Pod。

三、理解监控数据流

应用 Pod (/metrics, 9105)
      ↓
Service (demo/nativeopslab-metrics-demo)
      ↑ 被 label selector 匹配
ServiceMonitor (monitoring/nativeopslab-metrics-demo)
      ↑ 被 Prometheus 的 ServiceMonitor selectors 匹配
Prometheus → Targets → 时间序列存储
      ↓               ↓
  PrometheusRule    Grafana 查询
      ↓
Pending → Firing → Resolved
      ↓
Alertmanager(路由、分组、静默、通知)
  • Service:给 Pod 提供稳定的访问入口;
  • ServiceMonitor:描述去哪个 Service、哪个命名空间、哪个具名端口抓取指标;
  • Target:Prometheus 配置生成后,实际可抓取的端点;
  • PrometheusRule:定义记录规则与告警规则;
  • Alertmanager:接收 Prometheus 发出的告警,并进行分组、抑制、路由、通知。

ServiceMonitor.spec.endpoints[].port 指向 Service 的端口名称,不是随意填写的端口数字。Prometheus Operator 也会用资源标签和命名空间选择器决定哪些 ServiceMonitor、PrometheusRule 真正被加载。

四、Step 01:安装前检查(h11)

kubectl get nodes -L nativeopslab.io/role
kubectl get ns demo monitoring
kubectl -n monitoring get pods,pvc -o wide
kubectl -n monitoring get prometheus,alertmanager
kubectl -n monitoring get svc | grep -E 'prometheus|alertmanager|grafana'
helm list -n monitoring

最关键的一步:先获取正在运行的 Prometheus CR 的实际选择器:

kubectl -n monitoring get prometheus -o yaml | \
  grep -A 8 -E '^  (serviceMonitorSelector|serviceMonitorNamespaceSelector|ruleSelector|ruleNamespaceSelector):'

或者运行打包文件中的 bash 05-validation.sh,会同时输出这些选择器和进行 server-side dry-run。

重点理解四个字段:

字段含义
serviceMonitorSelector哪些标签的 ServiceMonitor 被采纳
serviceMonitorNamespaceSelector从哪些命名空间寻找 ServiceMonitor
ruleSelector哪些标签的 PrometheusRule 被采纳
ruleNamespaceSelector从哪些命名空间寻找 PrometheusRule

本示例把两个 CR 都放在 monitoring 命名空间,标签使用 release: monitoring。这是 Helm Release 名称为 monitoring 时的典型用法,仍须以现场 Prometheus CR 输出为准。若选择器不匹配,只修改新建实验资源的标签,先不要覆盖生产监控的 Helm Values。

五、Step 02:部署独立的 /metrics 服务

随文提供 01-nativeopslab-metrics-demo.yaml,包含:

  • ConfigMap:用 Python 标准库提供 /metrics、/healthz、/test、/test-error;
  • Deployment:1 副本,使用 python:3.12-alpine,通过 nodeSelector 优先安排至 h12;
  • Service:ClusterIP,端口名称为 metrics,端口 9105。

核心指标格式:

# HELP nativeopslab_lab_ready Synthetic lab service readiness.
# TYPE nativeopslab_lab_ready gauge
nativeopslab_lab_ready 1

# HELP nativeopslab_lab_requests_total Synthetic lab HTTP requests.
# TYPE nativeopslab_lab_requests_total counter
nativeopslab_lab_requests_total{result="ok"} 0
nativeopslab_lab_requests_total{result="error"} 0

这些是教学用合成指标,不代表已经从 nginx-demo 采集到真实 HTTP QPS。

部署:

kubectl apply -f 01-nativeopslab-metrics-demo.yaml
kubectl -n demo rollout status deployment/nativeopslab-metrics-demo --timeout=180s
kubectl -n demo get pod,svc -l app.kubernetes.io/name=nativeopslab-metrics-demo -o wide
kubectl -n demo get endpointslice -l kubernetes.io/service-name=nativeopslab-metrics-demo

如果显示 ImagePullBackOff,先检查镜像仓库连通性;如果 Pending,检查 h12 的 Node Label、资源和调度条件。不要为了让实验通过而随意覆盖现有节点标签。

临时验证指标端点(使用两个终端):

终端 A:

kubectl -n demo port-forward svc/nativeopslab-metrics-demo 9105:9105

终端 B:

curl -fsS http://127.0.0.1:9105/healthz
curl -fsS http://127.0.0.1:9105/metrics
curl -fsS http://127.0.0.1:9105/test
curl -fsS http://127.0.0.1:9105/metrics

确认响应中存在 nativeopslab_lab_ready 1。关闭终端 A 的端口转发即可恢复端口占用。

六、Step 03:创建 ServiceMonitor 并检查 Targets

02-servicemonitor.yaml 核心配置如下:

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: nativeopslab-metrics-demo
  namespace: monitoring
  labels:
    release: monitoring
spec:
  namespaceSelector:
    matchNames: [demo]
  selector:
    matchLabels:
      app.kubernetes.io/name: nativeopslab-metrics-demo
  endpoints:
    - port: metrics
      path: /metrics
      interval: 15s
      scrapeTimeout: 10s

注意两个选择器的不同:Prometheus 的 serviceMonitorSelector 选择 ServiceMonitor 资源;ServiceMonitor 的 spec.selector 选择 Service 资源。再通过 namespaceSelector 选择 Service 所在的 demo 命名空间。

创建:

kubectl apply -f 02-servicemonitor.yaml
kubectl -n monitoring get servicemonitor nativeopslab-metrics-demo --show-labels
kubectl -n monitoring describe servicemonitor nativeopslab-metrics-demo

查看 Prometheus 服务名称:

kubectl -n monitoring get svc | grep prometheus

若实际服务名为 monitoring-kube-prometheus-prometheus,则在 h11 执行:

kubectl -n monitoring port-forward \
  svc/monitoring-kube-prometheus-prometheus 9090:9090

浏览器可通过 SSH 本地转发,或直接从 h11 curl 测试 http://127.0.0.1:9090/targets。不要将 Prometheus 管理界面直接暴露到互联网。

Prometheus Web → Status → Targets,检索 nativeopslab-metrics-demo,期望出现一个 UP Target;这只表示成功抓取 /metrics,不代表应用全部业务接口健康。

在 Graph / Explore 测试:

up{namespace="demo",service="nativeopslab-metrics-demo"}

期望为 1。然后测试:

nativeopslab_lab_ready{namespace="demo"}

以及:

sum(rate(nativeopslab_lab_requests_total{namespace="demo"}[2m]))

第三条需要先调用 /test 或 /test-error 才能看到非零增量,而且 counter 至少需要两个抓取样本;部署完成之后短时间的 No data 可能只是样本不足。

七、Step 04:创建常规 Kubernetes 告警规则

03-prometheus-rules.yaml 提供三个独立告警:

  1. NativeOpsLabDemoTargetDown:目标已被发现,但持续 2 分钟 up == 0;
  2. NativeOpsLabDemoTargetMissing:找不到匹配的 up 时间序列,持续 3 分钟;
  3. NativeOpsLabDemoErrorTraffic:合成测试服务持续产生 503 请求,检测到错误请求速率后超过 1 分钟。

其中 up == 0 与 absent(up{...}) 必须区分:目标消失后,往往不再存在当前的 up=0 序列,因此不能仅靠 up == 0 检出所有服务缺失场景。

部署:

kubectl apply -f 03-prometheus-rules.yaml
kubectl -n monitoring get prometheusrule nativeopslab-lab05-target-rules --show-labels
kubectl -n monitoring describe prometheusrule nativeopslab-lab05-target-rules

Prometheus Web → Status → Rules,查找 nativeopslab.lab05.targets,确认规则已加载。

八、Step 05:安全验证告警 Pending / Firing / Resolved

方案 A:临时、可删除的测试告警(推荐先做)

文件 04-test-only-always-firing.yaml 中有一条专门用于实验的告警:

- alert: NativeOpsLabLab05TestOnly
  expr: vector(1)
  for: 1m
  labels:
    severity: info
    lab_only: 'true'

执行前检查 Alertmanager 的通知路由。如果已有邮件、短信等真实接收器,不应无准备地触发通知;可先为 lab_only=true 配置合适的测试路由或静默,然后执行。

创建:

kubectl apply -f 04-test-only-always-firing.yaml

随后观察 Prometheus Alerts 页面中的状态:

  • Inactive:规则没有有效结果或尚未开始;
  • Pending:表达式成立,但 for: 1m 未满足;
  • Firing:表达式持续成立,满足 for;
  • Resolved:表达式不再成立或规则被移除后,进入结束流程。

说明:告警规则评估周期和 Alertmanager 路由有延迟,不保证严格 60 秒触发。

测试后立即删除临时规则:

kubectl delete -f 04-test-only-always-firing.yaml

等待下一轮评估,再检查 Prometheus Alerts 页面和 Alertmanager(如有路由、静默和分组设置,展示可能不同)。

方案 B:模拟应用错误请求(更接近业务告警)

保留第六步启动的 port-forward,在另一个终端执行一个有边界的错误请求测试:

for i in $(seq 1 30); do
  curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1:9105/test-error
  sleep 4
done

只会访问隔离实验 Service 的 /test-error,不会影响 nginx-demo 或外部网站。这 30 次请求持续约 2 分钟,让自定义 nativeopslab_lab_requests_total{result="error"} 计数增长。观察:

sum(rate(nativeopslab_lab_requests_total{namespace="demo",result="error"}[2m]))

然后检查 NativeOpsLabDemoErrorTraffic 是否从 Pending 进入 Firing,停止发送后等 2 分钟窗口滑出并观察恢复。

九、Step 06:验证 Alertmanager,理解通知与告警的区别

先查 Service:

kubectl -n monitoring get svc | grep alertmanager

如果存在 monitoring-kube-prometheus-alertmanager:

kubectl -n monitoring port-forward \
  svc/monitoring-kube-prometheus-alertmanager 9093:9093

在 h11 访问 http://127.0.0.1:9093,检查 Alertmanager 是否收到实验告警。

三个不同验收层级:

层级检查位置代表什么
规则生效Prometheus → Status → RulesPrometheusRule 已加载
FiringPrometheus → Alerts条件满足并触发告警
接收/通知Alertmanager / 接收端告警成功被 Alertmanager 接收;通知是否送达需进一步验证

Firing 不等于邮件发送成功,Alertmanager 可能存在 Silence、Inhibition、路由不匹配或者接收端故障。

十、Step 07:常见故障排查

1. Targets 中根本没有实验服务

kubectl -n monitoring get prometheus -o yaml
kubectl -n monitoring get servicemonitor nativeopslab-metrics-demo --show-labels
kubectl -n demo get svc nativeopslab-metrics-demo --show-labels
kubectl -n demo get endpointslice -l kubernetes.io/service-name=nativeopslab-metrics-demo

重点逐层检查 Prometheus CR 选择器 → ServiceMonitor 标签/命名空间 → Service 标签 → EndpointSlice 后端。

2. Target 已发现,但显示 DOWN

检查 Pod 是否健康、端口是否确实叫 metrics、/metrics 返回是否为 HTTP 200;再检查 NetworkPolicy 或 Cilium 策略。不要先修改 Prometheus 默认全局设置。

kubectl -n demo get pods -l app.kubernetes.io/name=nativeopslab-metrics-demo -o wide
kubectl -n demo logs deployment/nativeopslab-metrics-demo --tail=100
kubectl -n demo get networkpolicy

3. /metrics 可以 curl,但 PromQL 没数据

优先检查实际 Targets 和标签;原生 up 的标签可以通过 Prometheus Graph 直接查看。rate() 必须有足够的样本数据,且短时间无请求时 counter rate 可能是 0,不等于没有采集。

4. PrometheusRule 存在,却没有出现在规则页面

检查 ruleSelector、ruleNamespaceSelector、release: monitoring 标签是否匹配;再检查 Operator 日志和 Prometheus 规则页面里的错误信息。

kubectl -n monitoring get prometheusrule nativeopslab-lab05-target-rules -o yaml
kubectl -n monitoring get prometheus -o yaml
kubectl -n monitoring get deploy | grep operator

5. Prometheus Firing 了,但没有通知

检查 Alertmanager 是否收到、静默、路由、接收器、分组等待与通知日志;不应因此重建 PVC 或删除监控 Pod。

十一、Yaml文件:

https://mega.nz/file/X51XkSCT#FOEgymJRfD2kmhQ3xdJW9RhknA5alGQ2Pp17phIBTkQ

https://mega.nz/file/35VxwbjZ#629v2-vv9IHUv800PL0il915RoN9ic2Diz-koUVWQ1w

https://mega.nz/file/6oViAJqB#I1MqlgdReYkCYUWHihO2gJ9QIU-WixJKOG9ytMkjfls

https://mega.nz/file/f4cTzaKS#eFjlcuU2Lg8GHx3hL8m2TmTVljvUEpMBpaRXT66TrM4

https://mega.nz/file/P5NmUCjL#UAIUDxMJXgBrBzVUSdpE-tnYQQfnKJESgr0YxWh5944

十二、总结:监控不只是 Pod Running

真正有效的监控需要依次验收:

应用实际暴露指标
  → Kubernetes Service 可达
  → ServiceMonitor 正确匹配
  → Prometheus Target UP
  → PromQL 查询有可信数据
  → PrometheusRule 正确计算
  → Alertmanager 收到告警
  → 接收端真正收到通知(如有配置)

Targets UP 证明采集通路可用;告警 Firing 证明表达式条件满足;通知送达需要独立验收。 这三者不应混为一谈。


资料依据:Prometheus Operator API Reference / Getting Started、Prometheus 官方 Alerting Rules 文档,以及 kube-prometheus-stack 65.8.1 对应的官方 Values。具体 YAML 和选择器必须以现场集群为准。