广告 · 推广

Prometheus Targets、ServiceMonitor 与 Kubernetes 告警规则实战

一、为什么需要这次实验? 本篇解决监控平台的下一层问题:指标是否真的被发现并采集?报警表达式何时生效?告警最终是否抵达 Alertmanager? 实验目标: 区分 Service、ServiceMonitor、Target、PrometheusRule、Alertmanager 的职责; 在 demo 命名空间部署独立的可控 /metrics 测试端点(不修改正在使用的 nginx-demo); 在 monitoring 命名空间通过 ServiceMonitor 跨命名空间发现测试服务; 验证 Targets UP、自定义指标、PrometheusRule 的 Pending → Firing → Resolved; 了解告警规则与 Alertmanager 路由、通知之间的区别; 保存可复现的验收命令、截图及清理方式。 状态说明:以下是已编写并完成本地 YAML/脚本检查的可执行实验方案,不是对当前集群实时完成情况的断言。项目中的 #05 应在实际验证后再将 draft 改为 false。 二、当前实验环境 项目 环境信息 Kubernetes v1.28.15 管理节点 h11(192.168.6.11) 应用节点 h12,nativeopslab.io/role=app 可观测性节点 h15,nativeopslab.io/role=observability 监控命名空间 monitoring 已有 Demo demo/nginx-demo,已有 2 个运行副本(此前验收) 新建实验服务 demo/nativeopslab-metrics-demo,HTTP 9105 Prometheus / Grafana / Alertmanager 核心组件在 h15,已有 PVC Bound Helm Release monitoring(按此前部署记录) Chart 版本 此系列文档以 kube-prometheus-stack 65.8.1 为配置参考;以现场 helm list -n monitoring 为准 本篇不执行 Helm 升级,不改变 OpenEBS PVC,不删除已经运行的监控 Pod。 ...

2026-10-27 · 5 分钟 · 913 字 · 博主

Kubernetes 监控持久化——Helm Values、NodeSelector 与 OpenEBS PVC

一、为什么监控平台需要持久化? kubectl get pods 看起来一切正常,并不等于监控系统具备可靠性。尤其是第一次用 Helm 安装 kube-prometheus-stack 时,常见三个问题: Prometheus 重建后历史时序数据消失:因为使用了临时存储,或者新的实例没有挂载原来的 PVC。 Grafana 修改的配置与自建 Dashboard 丢失:Grafana 默认数据库文件需要持久化存储,不能只依靠 Pod 文件系统。 Alertmanager 静默记录丢失:告警路由配置可来自 Secret,但 Silences 等运行状态仍需存储。 所以本篇目标不是简单“让 Pod Running”,而是建立一套 Helm 配置有版本、核心服务可控调度、PVC 可检查、Pod 重建后数据可验证 的可复现流程。 特别注意:持久化 ≠ 跨节点高可用。openebs-hostpath 属于本地存储:Pod 在同一节点重建可重新挂载原数据,但节点磁盘故障、误删 PVC/PV 或重建节点可能导致数据丢失。本文方案定位为单节点实验室监控持久化,不是多副本生产存储方案。 二、实验环境和目标架构 节点 地址 角色 h11 192.168.6.11 Kubernetes control-plane、执行 Helm 和 kubectl h12 192.168.6.12 业务工作节点 h13 192.168.6.13 Storage/Stateful 工作节点 h14 192.168.6.14 NFS Server + 工作节点 h15 192.168.6.15 Observability 工作节点 h16 192.168.6.16 集群外实验和访问测试客户端 本篇规划: ...

2026-10-22 · 6 分钟 · 1187 字 · 博主

Prometheus + Grafana + Alertmanager 监控平台部署实战

一、为什么 Kubernetes 需要监控平台? kubectl get pods 能显示当前状态,但无法回答以下问题:过去一小时 CPU 为什么升高?哪个节点内存持续减少?Pod 为什么重启?一次故障发生前有哪些异常信号?告警是否真的进入通知处理链路? 这次部署三大核心组件: Prometheus:定时抓取、保存时序指标,并通过 PromQL 查询。 Grafana:用 Dashboard 呈现节点、Pod、容器等指标。 Alertmanager:接收 Prometheus 产生的告警,执行分组、去重、静默与路由;没有配置接收渠道时,不等于已经能发邮件或消息。 通过 kube-prometheus-stack Helm Chart,一次安装 Prometheus Operator、Prometheus、Alertmanager、Grafana、kube-state-metrics、node-exporter,以及相关 ServiceMonitor、PrometheusRule 和 Dashboard。 二、实验环境与部署规划 主机 地址 角色 h11 192.168.6.11 Kubernetes control-plane / 运维入口 h12 192.168.6.12 App Worker;Nginx Demo 已部署 h13 192.168.6.13 Storage / Stateful Worker h14 192.168.6.14 NFS Server + Worker h15 192.168.6.15 Observability Worker;放置主要监控实例 h16 192.168.6.16 集群外测试与压测客户端 Kubernetes:v1.28.15 CNI:Cilium / Hubble 存储:openebs-hostpath(默认,ReadWriteOnce、WaitForFirstConsumer) Namespace:monitoring Helm Release:monitoring 本文固定 Chart:kube-prometheus-stack 65.8.1 选择此固定版本用于旧版本 Kubernetes 实验室,而不是无条件安装最新 Chart。这个 Chart 的 Chart.yaml 声明 kubeVersion: ">=1.19.0-0";版本约束满足不等于所有镜像、CRD 和监控目标都已经通过现场验收。 ...

2026-10-15 · 6 分钟 · 1119 字 · 博主
MiYaIP 纯净真实住宅 IP 微软积分商城 - 搜索赚积分兑换礼品 捐助帮助贫困儿童
MiYaIP 纯净真实住宅 IP 微软积分商城 - 搜索赚积分兑换礼品 捐助帮助贫困儿童
MiYaIP 纯净真实住宅 IP