一、为什么 Kubernetes 需要监控平台?

kubectl get pods 能显示当前状态,但无法回答以下问题:过去一小时 CPU 为什么升高?哪个节点内存持续减少?Pod 为什么重启?一次故障发生前有哪些异常信号?告警是否真的进入通知处理链路?

这次部署三大核心组件:

  • Prometheus:定时抓取、保存时序指标,并通过 PromQL 查询。
  • Grafana:用 Dashboard 呈现节点、Pod、容器等指标。
  • Alertmanager:接收 Prometheus 产生的告警,执行分组、去重、静默与路由;没有配置接收渠道时,不等于已经能发邮件或消息。

通过 kube-prometheus-stack Helm Chart,一次安装 Prometheus Operator、Prometheus、Alertmanager、Grafana、kube-state-metrics、node-exporter,以及相关 ServiceMonitor、PrometheusRule 和 Dashboard。

二、实验环境与部署规划

主机地址角色
h11192.168.6.11Kubernetes control-plane / 运维入口
h12192.168.6.12App Worker;Nginx Demo 已部署
h13192.168.6.13Storage / Stateful Worker
h14192.168.6.14NFS Server + Worker
h15192.168.6.15Observability Worker;放置主要监控实例
h16192.168.6.16集群外测试与压测客户端
  • Kubernetes:v1.28.15
  • CNI:Cilium / Hubble
  • 存储:openebs-hostpath(默认,ReadWriteOnce、WaitForFirstConsumer)
  • Namespace:monitoring
  • Helm Release:monitoring
  • 本文固定 Chart:kube-prometheus-stack 65.8.1

选择此固定版本用于旧版本 Kubernetes 实验室,而不是无条件安装最新 Chart。这个 Chart 的 Chart.yaml 声明 kubeVersion: ">=1.19.0-0";版本约束满足不等于所有镜像、CRD 和监控目标都已经通过现场验收。

2.1 监控链路

Node Exporter -----------\
kube-state-metrics --------+--> ServiceMonitor --> Prometheus --> PromQL --> Grafana
kubelet / cAdvisor -------/                            |
API Server / Operator ---------------------------------+--> Alert Rules
                                                         |
                                                         v
                                                    Alertmanager
                                                         |
                                          receiver / silence / routing

Prometheus、Grafana、Alertmanager 和 Operator 主要调度到 h15;但 node-exporter 是 DaemonSet,应部署到需要监控的各个节点,不能统一限制到 h15,否则会丢失其他节点指标。

三、部署前检查(h11 执行)

3.1 检查节点与标签

kubectl get nodes -o wide
kubectl get nodes -L nativeopslab.io/role
kubectl get namespace monitoring

确认 h15 显示 nativeopslab.io/role=observability,且处于 Ready。检查 h15 是否有足够的可用磁盘及内存:

ssh [email protected] 'free -h; df -hT; df -i'

如果主机资源不足,应缩小监控范围或增加资源,不要盲目增加 Prometheus 副本。

3.2 检查存储与已有监控

kubectl get sc
kubectl get sc openebs-hostpath -o yaml
kubectl -n monitoring get all,pvc
helm list -A

如果已有 monitoring Release,先备份当前配置再修改:

helm -n monitoring get values monitoring -o yaml > monitoring-values-before.yaml
helm -n monitoring history monitoring

没有该 Release 时,上述 get values 会报 release: not found,属于正常情况,直接进入首次安装即可。

存储风险:OpenEBS Local PV Hostpath 的数据位于选定节点的本地目录,不提供跨节点自动复制。WaitForFirstConsumer 表示等待消费 PVC 的 Pod 调度后再绑定;不要用 nodeName 绕过调度器。后续如果 h15 故障,不应把“Pod 重新调度”理解成“历史监控数据会自动恢复”。

3.3 检查 Helm

helm version
kubectl version --client

如 Helm 已安装,直接使用,避免不必要的重复安装。 如果Helm没有安装,执行

wget https://get.helm.sh/helm-v3.19.0-linux-amd64.tar.gz
tar xf helm-v3.19.0-linux-amd64.tar.gz 
mv linux-amd64/helm /usr/bin/ && rm -rf linux-amd64/ helm-v3.19.0-linux-amd64.tar.gz

四、选择并固定 Helm Chart 版本

helm repo add prometheus-community \
  https://prometheus-community.github.io/helm-charts
helm repo update
helm search repo prometheus-community/kube-prometheus-stack --versions | head

固定版本并记录:

export CHART_VERSION=65.8.1
mkdir -p ~/NativeOpsLab/manifests/monitoring
cd ~/NativeOpsLab/manifests/monitoring
printf 'kube-prometheus-stack=%s\n' "$CHART_VERSION" > chart-versions.txt
helm show chart prometheus-community/kube-prometheus-stack \
  --version "$CHART_VERSION"

如果仓库、镜像或版本下载失败,不要换成 latest 随意重试;应先定位网络、代理或镜像源问题,并固定一组能复现的版本。

五、编写 values-monitoring.yaml

本实验的三个核心状态组件需要持久化:Grafana 2Gi、Prometheus 5Gi、Alertmanager 2Gi,都使用 openebs-hostpath。Prometheus 只保留短期指标:2d、3GB,适合目前的小规模实验室;并不是长期高可用方案。

# NativeOpsLab / kube-prometheus-stack 65.8.1

grafana:
  nodeSelector:
    nativeopslab.io/role: observability
  persistence:
    enabled: true
    type: pvc
    storageClassName: openebs-hostpath
    accessModes:
      - ReadWriteOnce
    size: 2Gi
  resources:
    requests:
      cpu: 100m
      memory: 128Mi
    limits:
      memory: 512Mi

prometheusOperator:
  nodeSelector:
    nativeopslab.io/role: observability
  resources:
    requests:
      cpu: 100m
      memory: 128Mi
    limits:
      memory: 512Mi

prometheus:
  prometheusSpec:
    replicas: 1
    nodeSelector:
      nativeopslab.io/role: observability
    retention: 2d
    retentionSize: 3GB
    resources:
      requests:
        cpu: 200m
        memory: 512Mi
      limits:
        memory: 2Gi
    storageSpec:
      volumeClaimTemplate:
        spec:
          storageClassName: openebs-hostpath
          accessModes:
            - ReadWriteOnce
          resources:
            requests:
              storage: 5Gi

alertmanager:
  alertmanagerSpec:
    replicas: 1
    nodeSelector:
      nativeopslab.io/role: observability
    resources:
      requests:
        cpu: 50m
        memory: 96Mi
      limits:
        memory: 256Mi
    storage:
      volumeClaimTemplate:
        spec:
          storageClassName: openebs-hostpath
          accessModes:
            - ReadWriteOnce
          resources:
            requests:
              storage: 2Gi

保存为 ~/NativeOpsLab/manifests/monitoring/values-monitoring.yaml。这里没有禁用其他节点的 node-exporter;如果集群没有 kube-proxy(Cilium 代理替代场景),稍后根据实际情况处理 kube-proxy 的抓取目标,不能直接假定它存在或不存在。

六、Helm 模板检查与安装

先校验 Helm 渲染结果,再安装:

cd ~/NativeOpsLab/manifests/monitoring
export CHART_VERSION=65.8.1

helm template monitoring \
  prometheus-community/kube-prometheus-stack \
  --version "$CHART_VERSION" \
  -n monitoring \
  -f values-monitoring.yaml \
  > rendered-monitoring.yaml

helm upgrade --install monitoring \
  prometheus-community/kube-prometheus-stack \
  --version "$CHART_VERSION" \
  --namespace monitoring \
  --create-namespace \
  -f values-monitoring.yaml \
  --wait --timeout 15m

如果 Helm 因镜像拉取、CRD 或存储原因超时,不要直接卸载、删除 PVC 或重建集群。应先保留事件及失败状态进行排查。

七、验证 Pod、Operator、PVC 与节点调度

helm list -n monitoring
kubectl -n monitoring get deploy,sts,ds,pod -o wide
kubectl -n monitoring get pvc -o wide
kubectl get prometheus,alertmanager -n monitoring
kubectl -n monitoring get svc

验收目标:

检查项目标
Helm Releasedeployed
Prometheus / Alertmanager / Grafana相关 Pod 就绪,无持续 CrashLoop
Prometheus OperatorDeployment 可用
Prometheus、Alertmanager、Grafana PVCBound
主要监控 Pod调度到 h15
node-exporter覆盖需要监控的节点
kube-state-metrics正常运行

检查 PVC 对应的节点和 PV:

kubectl -n monitoring get pod -o wide
kubectl -n monitoring get pvc
kubectl get pv -o wide
kubectl -n monitoring describe pvc <实际PVC名称>

WaitForFirstConsumer 导致的短暂 Pending 不一定是故障;只有 Pod 不能成功调度/创建卷时才需要深入诊断。

八、安全访问三个 Web 页面

这里先采用 kubectl port-forward + SSH 隧道,不用将 Prometheus、Alertmanager 的管理 UI 直接暴露到局域网,更不要暴露公网。

在 h11 的三个不同终端分别执行:

# 终端 A:Grafana
kubectl -n monitoring port-forward \
  svc/monitoring-grafana 3000:80
# 终端 B:Prometheus
kubectl -n monitoring port-forward \
  svc/monitoring-kube-prometheus-prometheus 9090:9090
# 终端 C:Alertmanager
kubectl -n monitoring port-forward \
  svc/monitoring-kube-prometheus-alertmanager 9093:9093

如果上面某个 Service 名称与现场不一致,先用 kubectl -n monitoring get svc 找到实际名称再替换。port-forward 默认监听本地回环地址,相对安全。

在自己的 Windows PC / h16 再开一个 SSH 客户端终端:

ssh \
  -L 3000:127.0.0.1:3000 \
  -L 9090:127.0.0.1:9090 \
  -L 9093:127.0.0.1:9093 \
  [email protected]

然后在 SSH 客户端所在机器的浏览器打开:

  • Grafana:http://127.0.0.1:3000
  • Prometheus:http://127.0.0.1:9090
  • Alertmanager:http://127.0.0.1:9093

Grafana 用户名通常为 admin。获取 Helm 创建的初始密码:

kubectl -n monitoring get secret monitoring-grafana \
  -o jsonpath='{.data.admin-password}' | base64 -d
printf '\n'

不要将包含密码的终端截图发布到 X 或博客,初次登录后立即改密。

九、Prometheus Targets 和 PromQL 验证

Prometheus UI 里打开 Status → Targets,查看具体目标是否为 UP。

优先执行:

up

查看已发现的 Kubernetes Node:

count(kube_node_info)

查看某台节点可用内存(字节):

node_memory_MemAvailable_bytes

CPU 忙碌时间比例示例:

100 * (1 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])))

解释:node_cpu_seconds_total 是 CPU 各种状态的累计秒数;通过 rate 和空闲时间占比,计算近 5 分钟 CPU 非空闲百分比。

如果 count(kube_node_info) 不等于预期节点数,先检查 kube-state-metrics target 和发现机制;如果 node-exporter 缺某台节点,再检查其 DaemonSet Pod 和 ServiceMonitor,而不是马上调高 Prometheus 内存。

另外,控制平面、etcd、kube-proxy 指标是否可抓取依赖实际监听配置。尤其 Cilium 使用 kube-proxy replacement 时,可能没有 kube-proxy DaemonSet。执行:

kubectl -n kube-system get daemonset kube-proxy
kubectl -n monitoring get servicemonitor

如果未部署 kube-proxy,可以在 values 增加以下可选配置,避免创建没有真实服务的抓取目标:

kubeProxy:
  enabled: false

这是确认没有 kube-proxy 后的条件操作,不要为了把 DOWN 隐藏而盲目禁用全部监控目标。

十、Grafana Dashboard 验收

登录 Grafana 后查看 Connections → Data Sources,确认 Prometheus 数据源可用;打开预置 Kubernetes / Node Dashboard。

重点选择以下维度:

  1. Node CPU 与 Memory
  2. Node 网络收发速率
  3. Namespace / Pod CPU 与 Memory
  4. Pod Restart
  5. PVC 容量与状态(取决于采集目标和存储指标可用性)

Grafana 有图表但数据为空时,应先打开 Prometheus 查询 up、kube_node_info 等基础指标,再检查 Dashboard 变量或标签名,不应直接认定 Grafana 安装失败。

十一、Alertmanager:制造一个安全的测试告警

我们不通过关机、停 kubelet 或删除业务 Pod 来触发告警。创建一个不会伤害集群的合成指标规则:

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: nativeopslab-monitoring-test
  namespace: monitoring
  labels:
    release: monitoring
spec:
  groups:
    - name: nativeopslab.lab
      rules:
        - alert: NativeOpsLabMonitoringTest
          expr: vector(1)
          for: 1m
          labels:
            severity: warning
            lab: nativeopslab
          annotations:
            summary: "NativeOpsLab monitoring chain test"
            description: "Temporary synthetic alert; delete after validation."

保存为 test-alert.yaml,应用并观察:

kubectl apply -f test-alert.yaml
kubectl -n monitoring get prometheusrule nativeopslab-monitoring-test

等待至少 1~2 分钟,打开 Prometheus UI 的 Alerts,查看 NativeOpsLabMonitoringTest 从 Pending 到 Firing;然后到 Alertmanager UI 检查是否收到对应告警。

若 Prometheus 没有发现规则,检查 release: monitoring 是否与 Chart 的规则选择器匹配:

kubectl -n monitoring get prometheus -o yaml
kubectl -n monitoring describe prometheusrule nativeopslab-monitoring-test

重要区别:Alertmanager UI 能看到告警只证明接收/处理链路的一部分;若没有配置 Email、Webhook 或其他 Receiver,不会自动发送通知。通知发送、恢复消息、分组和静默需要后续单独配置和验收。

测试结束后删除合成规则,避免长期保留假告警:

kubectl delete -f test-alert.yaml

十二、生产化思考:持久化、容量与安全

1. h15 故障的影响。 所有主要监控实例固定到 h15,易于管理,却形成单节点故障域;openebs-hostpath 是本地存储,不是共享或高可用存储。监控系统本身的故障也应有外部检测手段。

2. PV 回收风险。 当前 StorageClass 使用 Delete 回收策略时,删除 PVC 可能连数据一起清理。执行 helm uninstall、删除 StatefulSet/PVC 之前,先备份并检查 PV 的 ReclaimPolicy;Helm 卸载与 PVC 生命周期不完全相同,不应凭经验假设数据仍在。

3. 监控自身资源。 小型实验室可以保留 2 天数据,但不能保证磁盘永远不会满。定期观察 Prometheus TSDB、WAL、PVC 可用空间、prometheus_tsdb_head_series 以及抓取目标数量。

4. 不直接暴露管理接口。 Prometheus 和 Alertmanager 的 Web/API 若未经认证保护,不应通过公开 Ingress 或 LoadBalancer 暴露;Grafana 至少需要凭据管理、TLS 和访问范围控制。

5. Kubernetes 1.28 的生命周期。 此版本已较旧,实验可以继续,但公开访问和长期生产环境应规划受支持版本升级;不要在当前未做备份的环境里直接升级。

十三、常见故障与排查命令

故障现象优先检查
ImagePullBackOffkubectl describe pod、镜像仓库连通性、证书与镜像标签
PVC 一直 PendingPVC Events、StorageClass、OpenEBS provisioner、Pod 调度
Prometheus Pendingh15 标签、资源余量、taint、PVC 和 PV NodeAffinity
Operator / Webhook 异常CRD 是否存在、Operator 日志、admission webhook
Grafana 页面可开但没图表Data Source、Targets、PromQL 和 Dashboard 变量
部分 Targets DOWN目标端口、网络策略、kubeadm 组件 metrics 监听
测试告警不出现PrometheusRule selector、规则表达式、评估周期
Alertmanager 收到但不发邮件Receiver、SMTP/Webhook、路由、网络、Secret

统一检查命令:

kubectl -n monitoring get pods -o wide
kubectl -n monitoring get pvc
kubectl -n monitoring get events --sort-by='.lastTimestamp' | tail -n 40
kubectl -n monitoring get servicemonitor,podmonitor,prometheusrule
kubectl -n monitoring describe pod <异常Pod名称>
kubectl -n monitoring logs deployment/monitoring-kube-prometheus-operator --tail=100
helm -n monitoring status monitoring

如果实际 Operator Deployment 名称不同,以 kubectl get deploy -n monitoring 输出为准。不要用 kubectl delete pvc --all 或 helm uninstall 作为排障第一步。

十四、总结

Prometheus 解决“数据从哪里来、如何查询”,Grafana 解决“如何看懂数据”,Alertmanager 解决“发现异常后如何管理告警”。

这次建设的正确验收顺序应该是:

Helm 安装
  → Pod / Operator 健康
  → PVC 持久化
  → Targets UP
  → PromQL 查到节点指标
  → Grafana Dashboard 有数据
  → PrometheusRule Firing
  → Alertmanager 收到告警

安装成功不是终点,采集、查询、可视化和告警链路完成验证,才算真正部署成功。


参考资料