广告 · 推广

Prometheus Targets、ServiceMonitor 与 Kubernetes 告警规则实战

一、为什么需要这次实验? 本篇解决监控平台的下一层问题:指标是否真的被发现并采集?报警表达式何时生效?告警最终是否抵达 Alertmanager? 实验目标: 区分 Service、ServiceMonitor、Target、PrometheusRule、Alertmanager 的职责; 在 demo 命名空间部署独立的可控 /metrics 测试端点(不修改正在使用的 nginx-demo); 在 monitoring 命名空间通过 ServiceMonitor 跨命名空间发现测试服务; 验证 Targets UP、自定义指标、PrometheusRule 的 Pending → Firing → Resolved; 了解告警规则与 Alertmanager 路由、通知之间的区别; 保存可复现的验收命令、截图及清理方式。 状态说明:以下是已编写并完成本地 YAML/脚本检查的可执行实验方案,不是对当前集群实时完成情况的断言。项目中的 #05 应在实际验证后再将 draft 改为 false。 二、当前实验环境 项目 环境信息 Kubernetes v1.28.15 管理节点 h11(192.168.6.11) 应用节点 h12,nativeopslab.io/role=app 可观测性节点 h15,nativeopslab.io/role=observability 监控命名空间 monitoring 已有 Demo demo/nginx-demo,已有 2 个运行副本(此前验收) 新建实验服务 demo/nativeopslab-metrics-demo,HTTP 9105 Prometheus / Grafana / Alertmanager 核心组件在 h15,已有 PVC Bound Helm Release monitoring(按此前部署记录) Chart 版本 此系列文档以 kube-prometheus-stack 65.8.1 为配置参考;以现场 helm list -n monitoring 为准 本篇不执行 Helm 升级,不改变 OpenEBS PVC,不删除已经运行的监控 Pod。 ...

2026-10-27 · 5 分钟 · 913 字 · 博主

Kubernetes Pod Running,却无法从集群外访问?完整排查流程

在 Kubernetes 中部署应用时,我们经常会使用下面的命令检查运行状态: kubectl get pods 看到: NAME READY STATUS RESTARTS nginx-demo-xxxxxxxxxx-xxxxx 1/1 Running 0 很多人可能会认为: Pod 已经 Running,服务应该可以访问了。 但实际上,Pod Running 只能说明 Pod 已经进入运行阶段,并不能保证业务能够正常响应,更不意味着集群外部的客户端能够访问应用。 一个从 Kubernetes 集群外部发起的 HTTP 请求,可能涉及: DNS 域名解析 Linux 路由与 ARP LoadBalancer IP Cilium Ingress / Envoy Kubernetes Service EndpointSlice Pod 网络 应用监听端口 NetworkPolicy 任何一个环节出现问题,都可能导致访问失败。 最近我在重建 NativeOpsLab Kubernetes 实验室时,部署了一个 Nginx Demo,并使用 Cilium Ingress 将应用发布到局域网。 这次实验最终成功完成了集群外访问验收。 本文将结合真实实验结果,记录完整访问过程,并整理一套可以复用的 Kubernetes 网络排查方法。 实验说明: 本次没有实际发生外部访问失败。文中的故障现象、HTTP 错误码及对应解决思路属于排查参考,真实实验结果以命令输出和截图为准。 一、实验环境介绍 这次实验运行在 Rocky Linux 9 和 Kubernetes v1.28.15 环境中。 ...

2026-10-13 · 8 分钟 · 1640 字 · 博主

一台 VM 开机,为什么整个网络都出问题了?

一台虚拟机开机,电脑突然很多网站都访问不了;把虚拟机关掉,访问又恢复正常。 这是我在 Kubernetes 实验环境里遇到过的一次真实故障。第一反应很自然:Cilium 出问题了?MetalLB 抢了地址?DNS 不正常?还是新节点加入集群时配置有误? 最终,让问题消失的操作很简单:把 Windows 宿主机从 Wi-Fi 改为网线连接。 但这篇文章想记录的,不只是“插网线就好了”,而是如何从开关机现象,逐步找到 ARP、VIP 宣告节点和宿主机桥接链路之间的联系。 标题里的“整个网络都出问题了”,描述的是当时的使用感受。已有记录能确认的是电脑出现多站点访问异常,不能据此断言整个局域网或所有公网连接都中断。 1. 环境:同一个网段,两种虚拟化链路 当时的集群不是由完全相同的机器组成的。 | 项目 | 环境 | ------------ | ------------------------------ | h11–h23 | Rocky Linux 9 宿主环境上的 KVM 虚拟机 | h25 | Windows 宿主机上的 VMware Linux 虚拟机 | 局域网 | 192.168.6.0/24 | h11 地址 | 192.168.6.11 | h25 地址 | 192.168.6.25 | 网关 | 192.168.6.1 | 集群网络组件 | Cilium | 外部服务地址宣告 | MetalLB,Layer 2 模式 | h25 宿主机原接入方式 | Wi-Fi,VMware 桥接到无线网卡 h25 是 Windows 上运行的 Linux VM,不是 Windows Kubernetes 节点。后续截图里,h25 已经是 Ready,显示 Kubernetes v1.28.15。 ...

2026-10-08 · 4 分钟 · 674 字 · 博主

基于 Kubernetes 的 DevOps / GitOps 高可用微服务平台

1. 项目摘要 本项目围绕一套真实可运行的 Kubernetes 实验平台,逐步完成容器网络、裸金属 LoadBalancer、Gateway API、持久化存储、数据库与缓存高可用、Prometheus生态、VictoriaMetrics、自定义业务指标 HPA、GitLab/Jenkins/Harbor/ArgoCD、DEV/TEST/PROD 多环境、BuildOnce Promote Many、Canary 渐进式发布、Prometheus Gate、自动回滚、故障演练与高可用封板。 项目的重点不是“安装了多少组件”,而是把源码、制品、声明式配置、业务流量、监控指标、恢复机制和权限边界串成一条可以解释和验证的生产闭环。 Developer / Git Push ↓ GitLab ↓ Jenkins CI Test / BuildKit / Image ↓ Harbor (immutable Git SHA) ↓ GitOps Repository ↓ ArgoCD ↓ DEV → TEST → TEST Approved → PROD Canary ↓ 5 → 10 → 30 → 50 → 100 ↓ Prometheus Gate ↙ ↘ Rollback Stable Promotion 核心方法论 BuildOnce, Promote Many;Git is Desired State;Jenkins 做 CI/编排,ArgoCD 做 CD;Readiness 与业务质量分层判断;先止血再排障;HA不等于 Backup/DR。 ...

2026-08-27 · 14 分钟 · 2965 字 · 博主
MiYaIP 纯净真实住宅 IP 微软积分商城 - 搜索赚积分兑换礼品 捐助帮助贫困儿童
MiYaIP 纯净真实住宅 IP 微软积分商城 - 搜索赚积分兑换礼品 捐助帮助贫困儿童
MiYaIP 纯净真实住宅 IP