一、为什么 Kubernetes 需要监控平台?
kubectl get pods 能显示当前状态,但无法回答以下问题:过去一小时 CPU 为什么升高?哪个节点内存持续减少?Pod 为什么重启?一次故障发生前有哪些异常信号?告警是否真的进入通知处理链路?
这次部署三大核心组件:
- Prometheus:定时抓取、保存时序指标,并通过 PromQL 查询。
- Grafana:用 Dashboard 呈现节点、Pod、容器等指标。
- Alertmanager:接收 Prometheus 产生的告警,执行分组、去重、静默与路由;没有配置接收渠道时,不等于已经能发邮件或消息。
通过 kube-prometheus-stack Helm Chart,一次安装 Prometheus Operator、Prometheus、Alertmanager、Grafana、kube-state-metrics、node-exporter,以及相关 ServiceMonitor、PrometheusRule 和 Dashboard。
二、实验环境与部署规划
| 主机 | 地址 | 角色 |
|---|---|---|
| h11 | 192.168.6.11 | Kubernetes control-plane / 运维入口 |
| h12 | 192.168.6.12 | App Worker;Nginx Demo 已部署 |
| h13 | 192.168.6.13 | Storage / Stateful Worker |
| h14 | 192.168.6.14 | NFS Server + Worker |
| h15 | 192.168.6.15 | Observability Worker;放置主要监控实例 |
| h16 | 192.168.6.16 | 集群外测试与压测客户端 |
- Kubernetes:
v1.28.15 - CNI:Cilium / Hubble
- 存储:
openebs-hostpath(默认,ReadWriteOnce、WaitForFirstConsumer) - Namespace:
monitoring - Helm Release:
monitoring - 本文固定 Chart:
kube-prometheus-stack 65.8.1
选择此固定版本用于旧版本 Kubernetes 实验室,而不是无条件安装最新 Chart。这个 Chart 的 Chart.yaml 声明 kubeVersion: ">=1.19.0-0";版本约束满足不等于所有镜像、CRD 和监控目标都已经通过现场验收。
2.1 监控链路
Node Exporter -----------\
kube-state-metrics --------+--> ServiceMonitor --> Prometheus --> PromQL --> Grafana
kubelet / cAdvisor -------/ |
API Server / Operator ---------------------------------+--> Alert Rules
|
v
Alertmanager
|
receiver / silence / routing
Prometheus、Grafana、Alertmanager 和 Operator 主要调度到 h15;但 node-exporter 是 DaemonSet,应部署到需要监控的各个节点,不能统一限制到 h15,否则会丢失其他节点指标。
三、部署前检查(h11 执行)
3.1 检查节点与标签
kubectl get nodes -o wide
kubectl get nodes -L nativeopslab.io/role
kubectl get namespace monitoring
确认 h15 显示 nativeopslab.io/role=observability,且处于 Ready。检查 h15 是否有足够的可用磁盘及内存:
ssh [email protected] 'free -h; df -hT; df -i'
如果主机资源不足,应缩小监控范围或增加资源,不要盲目增加 Prometheus 副本。
3.2 检查存储与已有监控
kubectl get sc
kubectl get sc openebs-hostpath -o yaml
kubectl -n monitoring get all,pvc
helm list -A
如果已有 monitoring Release,先备份当前配置再修改:
helm -n monitoring get values monitoring -o yaml > monitoring-values-before.yaml
helm -n monitoring history monitoring
没有该 Release 时,上述 get values 会报 release: not found,属于正常情况,直接进入首次安装即可。
存储风险:OpenEBS Local PV Hostpath 的数据位于选定节点的本地目录,不提供跨节点自动复制。
WaitForFirstConsumer表示等待消费 PVC 的 Pod 调度后再绑定;不要用nodeName绕过调度器。后续如果 h15 故障,不应把“Pod 重新调度”理解成“历史监控数据会自动恢复”。
3.3 检查 Helm
helm version
kubectl version --client
如 Helm 已安装,直接使用,避免不必要的重复安装。 如果Helm没有安装,执行
wget https://get.helm.sh/helm-v3.19.0-linux-amd64.tar.gz
tar xf helm-v3.19.0-linux-amd64.tar.gz
mv linux-amd64/helm /usr/bin/ && rm -rf linux-amd64/ helm-v3.19.0-linux-amd64.tar.gz
四、选择并固定 Helm Chart 版本
helm repo add prometheus-community \
https://prometheus-community.github.io/helm-charts
helm repo update
helm search repo prometheus-community/kube-prometheus-stack --versions | head
固定版本并记录:
export CHART_VERSION=65.8.1
mkdir -p ~/NativeOpsLab/manifests/monitoring
cd ~/NativeOpsLab/manifests/monitoring
printf 'kube-prometheus-stack=%s\n' "$CHART_VERSION" > chart-versions.txt
helm show chart prometheus-community/kube-prometheus-stack \
--version "$CHART_VERSION"
如果仓库、镜像或版本下载失败,不要换成 latest 随意重试;应先定位网络、代理或镜像源问题,并固定一组能复现的版本。
五、编写 values-monitoring.yaml
本实验的三个核心状态组件需要持久化:Grafana 2Gi、Prometheus 5Gi、Alertmanager 2Gi,都使用 openebs-hostpath。Prometheus 只保留短期指标:2d、3GB,适合目前的小规模实验室;并不是长期高可用方案。
# NativeOpsLab / kube-prometheus-stack 65.8.1
grafana:
nodeSelector:
nativeopslab.io/role: observability
persistence:
enabled: true
type: pvc
storageClassName: openebs-hostpath
accessModes:
- ReadWriteOnce
size: 2Gi
resources:
requests:
cpu: 100m
memory: 128Mi
limits:
memory: 512Mi
prometheusOperator:
nodeSelector:
nativeopslab.io/role: observability
resources:
requests:
cpu: 100m
memory: 128Mi
limits:
memory: 512Mi
prometheus:
prometheusSpec:
replicas: 1
nodeSelector:
nativeopslab.io/role: observability
retention: 2d
retentionSize: 3GB
resources:
requests:
cpu: 200m
memory: 512Mi
limits:
memory: 2Gi
storageSpec:
volumeClaimTemplate:
spec:
storageClassName: openebs-hostpath
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 5Gi
alertmanager:
alertmanagerSpec:
replicas: 1
nodeSelector:
nativeopslab.io/role: observability
resources:
requests:
cpu: 50m
memory: 96Mi
limits:
memory: 256Mi
storage:
volumeClaimTemplate:
spec:
storageClassName: openebs-hostpath
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 2Gi
保存为 ~/NativeOpsLab/manifests/monitoring/values-monitoring.yaml。这里没有禁用其他节点的 node-exporter;如果集群没有 kube-proxy(Cilium 代理替代场景),稍后根据实际情况处理 kube-proxy 的抓取目标,不能直接假定它存在或不存在。
六、Helm 模板检查与安装
先校验 Helm 渲染结果,再安装:
cd ~/NativeOpsLab/manifests/monitoring
export CHART_VERSION=65.8.1
helm template monitoring \
prometheus-community/kube-prometheus-stack \
--version "$CHART_VERSION" \
-n monitoring \
-f values-monitoring.yaml \
> rendered-monitoring.yaml
helm upgrade --install monitoring \
prometheus-community/kube-prometheus-stack \
--version "$CHART_VERSION" \
--namespace monitoring \
--create-namespace \
-f values-monitoring.yaml \
--wait --timeout 15m
如果 Helm 因镜像拉取、CRD 或存储原因超时,不要直接卸载、删除 PVC 或重建集群。应先保留事件及失败状态进行排查。
七、验证 Pod、Operator、PVC 与节点调度
helm list -n monitoring
kubectl -n monitoring get deploy,sts,ds,pod -o wide
kubectl -n monitoring get pvc -o wide
kubectl get prometheus,alertmanager -n monitoring
kubectl -n monitoring get svc
验收目标:
| 检查项 | 目标 |
|---|---|
| Helm Release | deployed |
| Prometheus / Alertmanager / Grafana | 相关 Pod 就绪,无持续 CrashLoop |
| Prometheus Operator | Deployment 可用 |
| Prometheus、Alertmanager、Grafana PVC | Bound |
| 主要监控 Pod | 调度到 h15 |
| node-exporter | 覆盖需要监控的节点 |
| kube-state-metrics | 正常运行 |

检查 PVC 对应的节点和 PV:
kubectl -n monitoring get pod -o wide
kubectl -n monitoring get pvc
kubectl get pv -o wide
kubectl -n monitoring describe pvc <实际PVC名称>

WaitForFirstConsumer 导致的短暂 Pending 不一定是故障;只有 Pod 不能成功调度/创建卷时才需要深入诊断。
八、安全访问三个 Web 页面
这里先采用 kubectl port-forward + SSH 隧道,不用将 Prometheus、Alertmanager 的管理 UI 直接暴露到局域网,更不要暴露公网。
在 h11 的三个不同终端分别执行:
# 终端 A:Grafana
kubectl -n monitoring port-forward \
svc/monitoring-grafana 3000:80
# 终端 B:Prometheus
kubectl -n monitoring port-forward \
svc/monitoring-kube-prometheus-prometheus 9090:9090
# 终端 C:Alertmanager
kubectl -n monitoring port-forward \
svc/monitoring-kube-prometheus-alertmanager 9093:9093
如果上面某个 Service 名称与现场不一致,先用
kubectl -n monitoring get svc找到实际名称再替换。port-forward默认监听本地回环地址,相对安全。
在自己的 Windows PC / h16 再开一个 SSH 客户端终端:
ssh \
-L 3000:127.0.0.1:3000 \
-L 9090:127.0.0.1:9090 \
-L 9093:127.0.0.1:9093 \
[email protected]
然后在 SSH 客户端所在机器的浏览器打开:
- Grafana:
http://127.0.0.1:3000 - Prometheus:
http://127.0.0.1:9090 - Alertmanager:
http://127.0.0.1:9093
Grafana 用户名通常为 admin。获取 Helm 创建的初始密码:
kubectl -n monitoring get secret monitoring-grafana \
-o jsonpath='{.data.admin-password}' | base64 -d
printf '\n'
不要将包含密码的终端截图发布到 X 或博客,初次登录后立即改密。
九、Prometheus Targets 和 PromQL 验证
Prometheus UI 里打开 Status → Targets,查看具体目标是否为 UP。
优先执行:
up
查看已发现的 Kubernetes Node:
count(kube_node_info)
查看某台节点可用内存(字节):
node_memory_MemAvailable_bytes
CPU 忙碌时间比例示例:
100 * (1 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])))

解释:node_cpu_seconds_total 是 CPU 各种状态的累计秒数;通过 rate 和空闲时间占比,计算近 5 分钟 CPU 非空闲百分比。
如果 count(kube_node_info) 不等于预期节点数,先检查 kube-state-metrics target 和发现机制;如果 node-exporter 缺某台节点,再检查其 DaemonSet Pod 和 ServiceMonitor,而不是马上调高 Prometheus 内存。
另外,控制平面、etcd、kube-proxy 指标是否可抓取依赖实际监听配置。尤其 Cilium 使用 kube-proxy replacement 时,可能没有 kube-proxy DaemonSet。执行:
kubectl -n kube-system get daemonset kube-proxy
kubectl -n monitoring get servicemonitor
如果未部署 kube-proxy,可以在 values 增加以下可选配置,避免创建没有真实服务的抓取目标:
kubeProxy:
enabled: false
这是确认没有 kube-proxy 后的条件操作,不要为了把 DOWN 隐藏而盲目禁用全部监控目标。
十、Grafana Dashboard 验收
登录 Grafana 后查看 Connections → Data Sources,确认 Prometheus 数据源可用;打开预置 Kubernetes / Node Dashboard。
重点选择以下维度:
- Node CPU 与 Memory
- Node 网络收发速率
- Namespace / Pod CPU 与 Memory
- Pod Restart
- PVC 容量与状态(取决于采集目标和存储指标可用性)
Grafana 有图表但数据为空时,应先打开 Prometheus 查询 up、kube_node_info 等基础指标,再检查 Dashboard 变量或标签名,不应直接认定 Grafana 安装失败。

十一、Alertmanager:制造一个安全的测试告警
我们不通过关机、停 kubelet 或删除业务 Pod 来触发告警。创建一个不会伤害集群的合成指标规则:
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: nativeopslab-monitoring-test
namespace: monitoring
labels:
release: monitoring
spec:
groups:
- name: nativeopslab.lab
rules:
- alert: NativeOpsLabMonitoringTest
expr: vector(1)
for: 1m
labels:
severity: warning
lab: nativeopslab
annotations:
summary: "NativeOpsLab monitoring chain test"
description: "Temporary synthetic alert; delete after validation."
保存为 test-alert.yaml,应用并观察:
kubectl apply -f test-alert.yaml
kubectl -n monitoring get prometheusrule nativeopslab-monitoring-test
等待至少 1~2 分钟,打开 Prometheus UI 的 Alerts,查看 NativeOpsLabMonitoringTest 从 Pending 到 Firing;然后到 Alertmanager UI 检查是否收到对应告警。


若 Prometheus 没有发现规则,检查 release: monitoring 是否与 Chart 的规则选择器匹配:
kubectl -n monitoring get prometheus -o yaml
kubectl -n monitoring describe prometheusrule nativeopslab-monitoring-test
重要区别:Alertmanager UI 能看到告警只证明接收/处理链路的一部分;若没有配置 Email、Webhook 或其他 Receiver,不会自动发送通知。通知发送、恢复消息、分组和静默需要后续单独配置和验收。
测试结束后删除合成规则,避免长期保留假告警:
kubectl delete -f test-alert.yaml
十二、生产化思考:持久化、容量与安全
1. h15 故障的影响。 所有主要监控实例固定到 h15,易于管理,却形成单节点故障域;openebs-hostpath 是本地存储,不是共享或高可用存储。监控系统本身的故障也应有外部检测手段。
2. PV 回收风险。 当前 StorageClass 使用 Delete 回收策略时,删除 PVC 可能连数据一起清理。执行 helm uninstall、删除 StatefulSet/PVC 之前,先备份并检查 PV 的 ReclaimPolicy;Helm 卸载与 PVC 生命周期不完全相同,不应凭经验假设数据仍在。
3. 监控自身资源。 小型实验室可以保留 2 天数据,但不能保证磁盘永远不会满。定期观察 Prometheus TSDB、WAL、PVC 可用空间、prometheus_tsdb_head_series 以及抓取目标数量。
4. 不直接暴露管理接口。 Prometheus 和 Alertmanager 的 Web/API 若未经认证保护,不应通过公开 Ingress 或 LoadBalancer 暴露;Grafana 至少需要凭据管理、TLS 和访问范围控制。
5. Kubernetes 1.28 的生命周期。 此版本已较旧,实验可以继续,但公开访问和长期生产环境应规划受支持版本升级;不要在当前未做备份的环境里直接升级。
十三、常见故障与排查命令
| 故障现象 | 优先检查 |
|---|---|
ImagePullBackOff | kubectl describe pod、镜像仓库连通性、证书与镜像标签 |
PVC 一直 Pending | PVC Events、StorageClass、OpenEBS provisioner、Pod 调度 |
Prometheus Pending | h15 标签、资源余量、taint、PVC 和 PV NodeAffinity |
| Operator / Webhook 异常 | CRD 是否存在、Operator 日志、admission webhook |
| Grafana 页面可开但没图表 | Data Source、Targets、PromQL 和 Dashboard 变量 |
部分 Targets DOWN | 目标端口、网络策略、kubeadm 组件 metrics 监听 |
| 测试告警不出现 | PrometheusRule selector、规则表达式、评估周期 |
| Alertmanager 收到但不发邮件 | Receiver、SMTP/Webhook、路由、网络、Secret |
统一检查命令:
kubectl -n monitoring get pods -o wide
kubectl -n monitoring get pvc
kubectl -n monitoring get events --sort-by='.lastTimestamp' | tail -n 40
kubectl -n monitoring get servicemonitor,podmonitor,prometheusrule
kubectl -n monitoring describe pod <异常Pod名称>
kubectl -n monitoring logs deployment/monitoring-kube-prometheus-operator --tail=100
helm -n monitoring status monitoring
如果实际 Operator Deployment 名称不同,以 kubectl get deploy -n monitoring 输出为准。不要用 kubectl delete pvc --all 或 helm uninstall 作为排障第一步。
十四、总结
Prometheus 解决“数据从哪里来、如何查询”,Grafana 解决“如何看懂数据”,Alertmanager 解决“发现异常后如何管理告警”。
这次建设的正确验收顺序应该是:
Helm 安装
→ Pod / Operator 健康
→ PVC 持久化
→ Targets UP
→ PromQL 查到节点指标
→ Grafana Dashboard 有数据
→ PrometheusRule Firing
→ Alertmanager 收到告警
安装成功不是终点,采集、查询、可视化和告警链路完成验证,才算真正部署成功。


