[{"content":"Cloudflare + Hugo + Decap CMS 搭建静态博客 这篇文章记录一下我的轻量级博客方案：\nHugo + GitHub + Cloudflare Pages + Decap CMS 它不需要 PHP、MySQL，也不需要自己维护服务器，但依然可以拥有类似 WordPress 的网页后台，用浏览器直接发布 Markdown 文章。\n一、整体架构 最终结构如下：\n浏览器 │ ▼ Cloudflare │ ▼ Hugo 静态网站 ▲ │ 自动构建 GitHub ▲ │ Decap CMS │ ▼ /admin/ 后台 文章保存到 GitHub，Cloudflare 检测到提交后自动执行 Hugo 构建并发布。\n二、本地创建 Hugo 博客 安装 Hugo Extended 后创建站点：\nhugo new site blog cd blog 添加主题，例如 PaperMod：\ngit init git submodule add https://github.com/adityatelange/hugo-PaperMod.git themes/PaperMod 修改 hugo.yaml：\nbaseURL: \u0026#34;https://example.com/\u0026#34; languageCode: \u0026#34;zh-cn\u0026#34; title: \u0026#34;我的博客\u0026#34; theme: \u0026#34;PaperMod\u0026#34; defaultContentLanguage: \u0026#34;zh\u0026#34; enableRobotsTXT: true params: env: production title: \u0026#34;我的博客\u0026#34; description: \u0026#34;记录技术、生活和一些值得保存的东西\u0026#34; ShowReadingTime: true ShowPostNavLinks: true ShowBreadCrumbs: true 启动：\nhugo server -D 浏览器访问：\nhttp://localhost:1313/ 三、创建文章 建议统一把文章放到：\ncontent/posts/ 创建文章：\nhugo new content posts/hello.md 文章示例：\n--- title: \u0026#34;我的第一篇文章\u0026#34; date: 2026-08-27 draft: false categories: - 技术 tags: - Hugo - Cloudflare --- 这是我的第一篇 Hugo 博客文章。 四、增加网页管理后台 为了避免每次手动编辑 Markdown，可以使用 Decap CMS。\n创建目录：\nmkdir static\\admin 最终结构：\nstatic/ └── admin/ ├── index.html └── config.yml index.html 创建：\nstatic/admin/index.html 内容：\n\u0026lt;!doctype html\u0026gt; \u0026lt;html\u0026gt; \u0026lt;head\u0026gt; \u0026lt;meta charset=\u0026#34;utf-8\u0026#34;\u0026gt; \u0026lt;meta name=\u0026#34;viewport\u0026#34; content=\u0026#34;width=device-width, initial-scale=1.0\u0026#34;\u0026gt; \u0026lt;title\u0026gt;博客后台\u0026lt;/title\u0026gt; \u0026lt;/head\u0026gt; \u0026lt;body\u0026gt; \u0026lt;script src=\u0026#34;https://unpkg.com/decap-cms@^3.0.0/dist/decap-cms.js\u0026#34;\u0026gt;\u0026lt;/script\u0026gt; \u0026lt;/body\u0026gt; \u0026lt;/html\u0026gt; config.yml 创建：\nstatic/admin/config.yml 内容：\nbackend: name: github repo: GitHub用户名/blog branch: main media_folder: \u0026#34;static/images/uploads\u0026#34; public_folder: \u0026#34;/images/uploads\u0026#34; locale: \u0026#34;zh_Hans\u0026#34; collections: - name: \u0026#34;posts\u0026#34; label: \u0026#34;文章\u0026#34; folder: \u0026#34;content/posts\u0026#34; create: true slug: \u0026#34;{{year}}-{{month}}-{{day}}-{{slug}}\u0026#34; fields: - label: \u0026#34;标题\u0026#34; name: \u0026#34;title\u0026#34; widget: \u0026#34;string\u0026#34; - label: \u0026#34;发布日期\u0026#34; name: \u0026#34;date\u0026#34; widget: \u0026#34;datetime\u0026#34; - label: \u0026#34;草稿\u0026#34; name: \u0026#34;draft\u0026#34; widget: \u0026#34;boolean\u0026#34; default: false - label: \u0026#34;描述\u0026#34; name: \u0026#34;description\u0026#34; widget: \u0026#34;text\u0026#34; required: false - label: \u0026#34;封面\u0026#34; name: \u0026#34;cover\u0026#34; widget: \u0026#34;image\u0026#34; required: false - label: \u0026#34;分类\u0026#34; name: \u0026#34;categories\u0026#34; widget: \u0026#34;list\u0026#34; required: false - label: \u0026#34;标签\u0026#34; name: \u0026#34;tags\u0026#34; widget: \u0026#34;list\u0026#34; required: false - label: \u0026#34;正文\u0026#34; name: \u0026#34;body\u0026#34; widget: \u0026#34;markdown\u0026#34; 创建图片目录：\nmkdir static\\images\\uploads 启动 Hugo：\nhugo server -D 访问：\nhttp://localhost:1313/admin/ 这时已经可以看到后台页面。\n五、上传到 GitHub 在博客目录初始化仓库：\ngit init git branch -M main 创建 .gitignore：\npublic/ resources/_gen/ .hugo_build.lock 提交：\ngit add . git commit -m \u0026#34;init hugo blog\u0026#34; 关联 GitHub：\ngit remote add origin https://github.com/用户名/blog.git git push -u origin main 以后网站所有内容都通过 Git 管理。\n六、Cloudflare Pages 部署 进入 Cloudflare：\nWorkers \u0026amp; Pages → Create → Pages → Import an existing Git repository 连接 GitHub，然后选择博客仓库。\n构建参数：\nProduction branch: main Framework: Hugo Build command: hugo --minify Build output directory: public 建议增加环境变量：\nHUGO_VERSION=0.165.0 版本最好和本地一致。\n部署成功后会获得类似：\nhttps://blog-xxx.pages.dev 以后只要 GitHub 有新的提交：\nGitHub ↓ Cloudflare ↓ Hugo Build ↓ 自动上线 七、绑定自己的域名 推荐给大家的一个免费的二级域名pp.ua\n是乌克兰的域名，能免费用1年，到期后续费也就每年0.5美元。\n购买链接：https://nic.ua/en/signup/sbslvevg\n进入：\nCloudflare Pages → 项目 → Custom domains 添加：\nexample.com 或者：\nwww.example.com 如果域名本身就在 Cloudflare DNS 中，配置会非常方便，同时可以直接获得 HTTPS 和 CDN。\n然后修改：\nbaseURL: \u0026#34;https://example.com/\u0026#34; 提交：\ngit add . git commit -m \u0026#34;update site domain\u0026#34; git push Cloudflare 会重新部署。\n八、配置后台 GitHub 登录 Decap CMS 使用 GitHub 保存文章，因此需要 GitHub OAuth。\nGitHub 中进入：\nSettings → Developer settings → OAuth Apps → New OAuth App 例如：\nApplication name: Blog CMS Homepage URL: https://example.com Authorization callback URL: https://auth.example.com/callback 然后获得：\nClient ID Client Secret Client Secret 不要提交到 GitHub。\n可以使用 Cloudflare Worker 部署一个 OAuth Proxy：\n/admin/ ↓ Decap CMS ↓ Cloudflare Worker ↓ GitHub OAuth 然后修改：\nbackend: name: github repo: GitHub用户名/blog branch: main base_url: https://auth.example.com auth_endpoint: auth 配置完成后即可通过：\nhttps://example.com/admin/ 登录后台。\n九、以后如何发布文章 以后不需要登录服务器，也不需要手工执行 Hugo。\n直接访问：\nhttps://example.com/admin/ 后台填写：\n标题 日期 分类 标签 封面 正文 点击发布后：\nDecap CMS ↓ 提交 Markdown 到 GitHub ↓ Cloudflare 检测 Git 更新 ↓ 执行 Hugo ↓ 重新生成网站 ↓ 自动上线 这样就拥有了一套类似 WordPress 的文章发布流程。\n十、最终目录结构 项目最终大致如下：\nblog/ ├── archetypes/ ├── assets/ ├── content/ │ └── posts/ │ ├── hello.md │ └── kubernetes.md │ ├── layouts/ ├── static/ │ ├── admin/ │ │ ├── index.html │ │ └── config.yml │ │ │ └── images/ │ └── uploads/ │ ├── themes/ │ └── PaperMod/ │ ├── .gitignore ├── .gitmodules └── hugo.yaml 总结 最终使用的组件：\nHugo 负责生成静态网站 GitHub 保存 Markdown、配置和代码 Cloudflare Pages 自动构建、HTTPS、CDN、网站托管 Decap CMS 提供网页文章管理后台 GitHub OAuth + Cloudflare Worker 负责后台登录认证 相比传统 WordPress：\n不需要 PHP 不需要 MySQL 不需要 VPS 不需要自己维护 Web 服务器 而且文章本身就是 Markdown 文件，全部可以通过 Git 版本控制。\n对于技术博客和个人博客来说，这是一套简单、快速，而且维护成本很低的方案。\n🇺🇦 推荐：NIC.UA 域名注册\nNIC.UA 是一家来自乌克兰的域名注册商。如果您正准备购买域名，可以通过下方链接了解他们的服务。\n愿战争早日结束，愿普通人能够重新拥有和平、稳定的生活。\n👉 https://nic.ua/en/signup/sbsIvevg\n","permalink":"https://nativeopslab.com/blog.html/","summary":"\u003ch1 id=\"cloudflare--hugo--decap-cms-搭建静态博客\"\u003eCloudflare + Hugo + Decap CMS 搭建静态博客\u003c/h1\u003e\n\u003cp\u003e这篇文章记录一下我的轻量级博客方案：\u003c/p\u003e\n\u003cdiv class=\"highlight\"\u003e\u003cpre tabindex=\"0\" style=\"color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;\"\u003e\u003ccode class=\"language-text\" data-lang=\"text\"\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003eHugo + GitHub + Cloudflare Pages + Decap CMS\n\u003c/span\u003e\u003c/span\u003e\u003c/code\u003e\u003c/pre\u003e\u003c/div\u003e\u003cp\u003e它不需要 PHP、MySQL，也不需要自己维护服务器，但依然可以拥有类似 WordPress 的网页后台，用浏览器直接发布 Markdown 文章。\u003c/p\u003e\n\u003chr\u003e\n\u003ch2 id=\"一整体架构\"\u003e一、整体架构\u003c/h2\u003e\n\u003cp\u003e最终结构如下：\u003c/p\u003e\n\u003cdiv class=\"highlight\"\u003e\u003cpre tabindex=\"0\" style=\"color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;\"\u003e\u003ccode class=\"language-text\" data-lang=\"text\"\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e浏览器\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e  │\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e  ▼\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003eCloudflare\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e  │\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e  ▼\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003eHugo 静态网站\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e  ▲\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e  │ 自动构建\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003eGitHub\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e  ▲\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e  │\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003eDecap CMS\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e  │\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e  ▼\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e/admin/ 后台\n\u003c/span\u003e\u003c/span\u003e\u003c/code\u003e\u003c/pre\u003e\u003c/div\u003e\u003cp\u003e文章保存到 GitHub，Cloudflare 检测到提交后自动执行 Hugo 构建并发布。\u003c/p\u003e\n\u003chr\u003e\n\u003ch2 id=\"二本地创建-hugo-博客\"\u003e二、本地创建 Hugo 博客\u003c/h2\u003e\n\u003cp\u003e安装 Hugo Extended 后创建站点：\u003c/p\u003e\n\u003cdiv class=\"highlight\"\u003e\u003cpre tabindex=\"0\" style=\"color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;\"\u003e\u003ccode class=\"language-powershell\" data-lang=\"powershell\"\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003ehugo new site blog\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003ecd blog\n\u003c/span\u003e\u003c/span\u003e\u003c/code\u003e\u003c/pre\u003e\u003c/div\u003e\u003cp\u003e添加主题，例如 PaperMod：\u003c/p\u003e","title":"Cloudflare + Hugo + Decap CMS 搭建静态博客"},{"content":"一、为什么需要这次实验？ 本篇解决监控平台的下一层问题：指标是否真的被发现并采集？报警表达式何时生效？告警最终是否抵达 Alertmanager？\n实验目标：\n区分 Service、ServiceMonitor、Target、PrometheusRule、Alertmanager 的职责； 在 demo 命名空间部署独立的可控 /metrics 测试端点（不修改正在使用的 nginx-demo）； 在 monitoring 命名空间通过 ServiceMonitor 跨命名空间发现测试服务； 验证 Targets UP、自定义指标、PrometheusRule 的 Pending → Firing → Resolved； 了解告警规则与 Alertmanager 路由、通知之间的区别； 保存可复现的验收命令、截图及清理方式。 状态说明：以下是已编写并完成本地 YAML/脚本检查的可执行实验方案，不是对当前集群实时完成情况的断言。项目中的 #05 应在实际验证后再将 draft 改为 false。\n二、当前实验环境 项目 环境信息 Kubernetes v1.28.15 管理节点 h11（192.168.6.11） 应用节点 h12，nativeopslab.io/role=app 可观测性节点 h15，nativeopslab.io/role=observability 监控命名空间 monitoring 已有 Demo demo/nginx-demo，已有 2 个运行副本（此前验收） 新建实验服务 demo/nativeopslab-metrics-demo，HTTP 9105 Prometheus / Grafana / Alertmanager 核心组件在 h15，已有 PVC Bound Helm Release monitoring（按此前部署记录） Chart 版本 此系列文档以 kube-prometheus-stack 65.8.1 为配置参考；以现场 helm list -n monitoring 为准 本篇不执行 Helm 升级，不改变 OpenEBS PVC，不删除已经运行的监控 Pod。\n三、理解监控数据流 应用 Pod (/metrics, 9105) ↓ Service (demo/nativeopslab-metrics-demo) ↑ 被 label selector 匹配 ServiceMonitor (monitoring/nativeopslab-metrics-demo) ↑ 被 Prometheus 的 ServiceMonitor selectors 匹配 Prometheus → Targets → 时间序列存储 ↓ ↓ PrometheusRule Grafana 查询 ↓ Pending → Firing → Resolved ↓ Alertmanager（路由、分组、静默、通知） Service：给 Pod 提供稳定的访问入口； ServiceMonitor：描述去哪个 Service、哪个命名空间、哪个具名端口抓取指标； Target：Prometheus 配置生成后，实际可抓取的端点； PrometheusRule：定义记录规则与告警规则； Alertmanager：接收 Prometheus 发出的告警，并进行分组、抑制、路由、通知。 ServiceMonitor.spec.endpoints[].port 指向 Service 的端口名称，不是随意填写的端口数字。Prometheus Operator 也会用资源标签和命名空间选择器决定哪些 ServiceMonitor、PrometheusRule 真正被加载。\n四、Step 01：安装前检查（h11） kubectl get nodes -L nativeopslab.io/role kubectl get ns demo monitoring kubectl -n monitoring get pods,pvc -o wide kubectl -n monitoring get prometheus,alertmanager kubectl -n monitoring get svc | grep -E \u0026#39;prometheus|alertmanager|grafana\u0026#39; helm list -n monitoring 最关键的一步：先获取正在运行的 Prometheus CR 的实际选择器：\nkubectl -n monitoring get prometheus -o yaml | \\ grep -A 8 -E \u0026#39;^ (serviceMonitorSelector|serviceMonitorNamespaceSelector|ruleSelector|ruleNamespaceSelector):\u0026#39; 或者运行打包文件中的 bash 05-validation.sh，会同时输出这些选择器和进行 server-side dry-run。\n重点理解四个字段：\n字段 含义 serviceMonitorSelector 哪些标签的 ServiceMonitor 被采纳 serviceMonitorNamespaceSelector 从哪些命名空间寻找 ServiceMonitor ruleSelector 哪些标签的 PrometheusRule 被采纳 ruleNamespaceSelector 从哪些命名空间寻找 PrometheusRule 本示例把两个 CR 都放在 monitoring 命名空间，标签使用 release: monitoring。这是 Helm Release 名称为 monitoring 时的典型用法，仍须以现场 Prometheus CR 输出为准。若选择器不匹配，只修改新建实验资源的标签，先不要覆盖生产监控的 Helm Values。\n五、Step 02：部署独立的 /metrics 服务 随文提供 01-nativeopslab-metrics-demo.yaml，包含：\nConfigMap：用 Python 标准库提供 /metrics、/healthz、/test、/test-error； Deployment：1 副本，使用 python:3.12-alpine，通过 nodeSelector 优先安排至 h12； Service：ClusterIP，端口名称为 metrics，端口 9105。 核心指标格式：\n# HELP nativeopslab_lab_ready Synthetic lab service readiness. # TYPE nativeopslab_lab_ready gauge nativeopslab_lab_ready 1 # HELP nativeopslab_lab_requests_total Synthetic lab HTTP requests. # TYPE nativeopslab_lab_requests_total counter nativeopslab_lab_requests_total{result=\u0026#34;ok\u0026#34;} 0 nativeopslab_lab_requests_total{result=\u0026#34;error\u0026#34;} 0 这些是教学用合成指标，不代表已经从 nginx-demo 采集到真实 HTTP QPS。\n部署：\nkubectl apply -f 01-nativeopslab-metrics-demo.yaml kubectl -n demo rollout status deployment/nativeopslab-metrics-demo --timeout=180s kubectl -n demo get pod,svc -l app.kubernetes.io/name=nativeopslab-metrics-demo -o wide kubectl -n demo get endpointslice -l kubernetes.io/service-name=nativeopslab-metrics-demo 如果显示 ImagePullBackOff，先检查镜像仓库连通性；如果 Pending，检查 h12 的 Node Label、资源和调度条件。不要为了让实验通过而随意覆盖现有节点标签。\n临时验证指标端点（使用两个终端）：\n终端 A：\nkubectl -n demo port-forward svc/nativeopslab-metrics-demo 9105:9105 终端 B：\ncurl -fsS http://127.0.0.1:9105/healthz curl -fsS http://127.0.0.1:9105/metrics curl -fsS http://127.0.0.1:9105/test curl -fsS http://127.0.0.1:9105/metrics 确认响应中存在 nativeopslab_lab_ready 1。关闭终端 A 的端口转发即可恢复端口占用。\n六、Step 03：创建 ServiceMonitor 并检查 Targets 02-servicemonitor.yaml 核心配置如下：\napiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: name: nativeopslab-metrics-demo namespace: monitoring labels: release: monitoring spec: namespaceSelector: matchNames: [demo] selector: matchLabels: app.kubernetes.io/name: nativeopslab-metrics-demo endpoints: - port: metrics path: /metrics interval: 15s scrapeTimeout: 10s 注意两个选择器的不同：Prometheus 的 serviceMonitorSelector 选择 ServiceMonitor 资源；ServiceMonitor 的 spec.selector 选择 Service 资源。再通过 namespaceSelector 选择 Service 所在的 demo 命名空间。\n创建：\nkubectl apply -f 02-servicemonitor.yaml kubectl -n monitoring get servicemonitor nativeopslab-metrics-demo --show-labels kubectl -n monitoring describe servicemonitor nativeopslab-metrics-demo 查看 Prometheus 服务名称：\nkubectl -n monitoring get svc | grep prometheus 若实际服务名为 monitoring-kube-prometheus-prometheus，则在 h11 执行：\nkubectl -n monitoring port-forward \\ svc/monitoring-kube-prometheus-prometheus 9090:9090 浏览器可通过 SSH 本地转发，或直接从 h11 curl 测试 http://127.0.0.1:9090/targets。不要将 Prometheus 管理界面直接暴露到互联网。\nPrometheus Web → Status → Targets，检索 nativeopslab-metrics-demo，期望出现一个 UP Target；这只表示成功抓取 /metrics，不代表应用全部业务接口健康。\n在 Graph / Explore 测试：\nup{namespace=\u0026#34;demo\u0026#34;,service=\u0026#34;nativeopslab-metrics-demo\u0026#34;} 期望为 1。然后测试：\nnativeopslab_lab_ready{namespace=\u0026#34;demo\u0026#34;} 以及：\nsum(rate(nativeopslab_lab_requests_total{namespace=\u0026#34;demo\u0026#34;}[2m])) 第三条需要先调用 /test 或 /test-error 才能看到非零增量，而且 counter 至少需要两个抓取样本；部署完成之后短时间的 No data 可能只是样本不足。\n七、Step 04：创建常规 Kubernetes 告警规则 03-prometheus-rules.yaml 提供三个独立告警：\nNativeOpsLabDemoTargetDown：目标已被发现，但持续 2 分钟 up == 0； NativeOpsLabDemoTargetMissing：找不到匹配的 up 时间序列，持续 3 分钟； NativeOpsLabDemoErrorTraffic：合成测试服务持续产生 503 请求，检测到错误请求速率后超过 1 分钟。 其中 up == 0 与 absent(up{...}) 必须区分：目标消失后，往往不再存在当前的 up=0 序列，因此不能仅靠 up == 0 检出所有服务缺失场景。\n部署：\nkubectl apply -f 03-prometheus-rules.yaml kubectl -n monitoring get prometheusrule nativeopslab-lab05-target-rules --show-labels kubectl -n monitoring describe prometheusrule nativeopslab-lab05-target-rules Prometheus Web → Status → Rules，查找 nativeopslab.lab05.targets，确认规则已加载。\n八、Step 05：安全验证告警 Pending / Firing / Resolved 方案 A：临时、可删除的测试告警（推荐先做） 文件 04-test-only-always-firing.yaml 中有一条专门用于实验的告警：\n- alert: NativeOpsLabLab05TestOnly expr: vector(1) for: 1m labels: severity: info lab_only: \u0026#39;true\u0026#39; 执行前检查 Alertmanager 的通知路由。如果已有邮件、短信等真实接收器，不应无准备地触发通知；可先为 lab_only=true 配置合适的测试路由或静默，然后执行。\n创建：\nkubectl apply -f 04-test-only-always-firing.yaml 随后观察 Prometheus Alerts 页面中的状态：\nInactive：规则没有有效结果或尚未开始； Pending：表达式成立，但 for: 1m 未满足； Firing：表达式持续成立，满足 for； Resolved：表达式不再成立或规则被移除后，进入结束流程。 说明：告警规则评估周期和 Alertmanager 路由有延迟，不保证严格 60 秒触发。\n测试后立即删除临时规则：\nkubectl delete -f 04-test-only-always-firing.yaml 等待下一轮评估，再检查 Prometheus Alerts 页面和 Alertmanager（如有路由、静默和分组设置，展示可能不同）。\n方案 B：模拟应用错误请求（更接近业务告警） 保留第六步启动的 port-forward，在另一个终端执行一个有边界的错误请求测试：\nfor i in $(seq 1 30); do curl -s -o /dev/null -w \u0026#39;%{http_code}\\n\u0026#39; http://127.0.0.1:9105/test-error sleep 4 done 只会访问隔离实验 Service 的 /test-error，不会影响 nginx-demo 或外部网站。这 30 次请求持续约 2 分钟，让自定义 nativeopslab_lab_requests_total{result=\u0026quot;error\u0026quot;} 计数增长。观察：\nsum(rate(nativeopslab_lab_requests_total{namespace=\u0026#34;demo\u0026#34;,result=\u0026#34;error\u0026#34;}[2m])) 然后检查 NativeOpsLabDemoErrorTraffic 是否从 Pending 进入 Firing，停止发送后等 2 分钟窗口滑出并观察恢复。\n九、Step 06：验证 Alertmanager，理解通知与告警的区别 先查 Service：\nkubectl -n monitoring get svc | grep alertmanager 如果存在 monitoring-kube-prometheus-alertmanager：\nkubectl -n monitoring port-forward \\ svc/monitoring-kube-prometheus-alertmanager 9093:9093 在 h11 访问 http://127.0.0.1:9093，检查 Alertmanager 是否收到实验告警。\n三个不同验收层级：\n层级 检查位置 代表什么 规则生效 Prometheus → Status → Rules PrometheusRule 已加载 Firing Prometheus → Alerts 条件满足并触发告警 接收/通知 Alertmanager / 接收端 告警成功被 Alertmanager 接收；通知是否送达需进一步验证 Firing 不等于邮件发送成功，Alertmanager 可能存在 Silence、Inhibition、路由不匹配或者接收端故障。\n十、Step 07：常见故障排查 1. Targets 中根本没有实验服务 kubectl -n monitoring get prometheus -o yaml kubectl -n monitoring get servicemonitor nativeopslab-metrics-demo --show-labels kubectl -n demo get svc nativeopslab-metrics-demo --show-labels kubectl -n demo get endpointslice -l kubernetes.io/service-name=nativeopslab-metrics-demo 重点逐层检查 Prometheus CR 选择器 → ServiceMonitor 标签/命名空间 → Service 标签 → EndpointSlice 后端。\n2. Target 已发现，但显示 DOWN 检查 Pod 是否健康、端口是否确实叫 metrics、/metrics 返回是否为 HTTP 200；再检查 NetworkPolicy 或 Cilium 策略。不要先修改 Prometheus 默认全局设置。\nkubectl -n demo get pods -l app.kubernetes.io/name=nativeopslab-metrics-demo -o wide kubectl -n demo logs deployment/nativeopslab-metrics-demo --tail=100 kubectl -n demo get networkpolicy 3. /metrics 可以 curl，但 PromQL 没数据 优先检查实际 Targets 和标签；原生 up 的标签可以通过 Prometheus Graph 直接查看。rate() 必须有足够的样本数据，且短时间无请求时 counter rate 可能是 0，不等于没有采集。\n4. PrometheusRule 存在，却没有出现在规则页面 检查 ruleSelector、ruleNamespaceSelector、release: monitoring 标签是否匹配；再检查 Operator 日志和 Prometheus 规则页面里的错误信息。\nkubectl -n monitoring get prometheusrule nativeopslab-lab05-target-rules -o yaml kubectl -n monitoring get prometheus -o yaml kubectl -n monitoring get deploy | grep operator 5. Prometheus Firing 了，但没有通知 检查 Alertmanager 是否收到、静默、路由、接收器、分组等待与通知日志；不应因此重建 PVC 或删除监控 Pod。\n十一、Yaml文件： https://mega.nz/file/X51XkSCT#FOEgymJRfD2kmhQ3xdJW9RhknA5alGQ2Pp17phIBTkQ\nhttps://mega.nz/file/35VxwbjZ#629v2-vv9IHUv800PL0il915RoN9ic2Diz-koUVWQ1w\nhttps://mega.nz/file/6oViAJqB#I1MqlgdReYkCYUWHihO2gJ9QIU-WixJKOG9ytMkjfls\nhttps://mega.nz/file/f4cTzaKS#eFjlcuU2Lg8GHx3hL8m2TmTVljvUEpMBpaRXT66TrM4\nhttps://mega.nz/file/P5NmUCjL#UAIUDxMJXgBrBzVUSdpE-tnYQQfnKJESgr0YxWh5944\n十二、总结：监控不只是 Pod Running 真正有效的监控需要依次验收：\n应用实际暴露指标 → Kubernetes Service 可达 → ServiceMonitor 正确匹配 → Prometheus Target UP → PromQL 查询有可信数据 → PrometheusRule 正确计算 → Alertmanager 收到告警 → 接收端真正收到通知（如有配置） Targets UP 证明采集通路可用；告警 Firing 证明表达式条件满足；通知送达需要独立验收。 这三者不应混为一谈。\n资料依据：Prometheus Operator API Reference / Getting Started、Prometheus 官方 Alerting Rules 文档，以及 kube-prometheus-stack 65.8.1 对应的官方 Values。具体 YAML 和选择器必须以现场集群为准。\n","permalink":"https://nativeopslab.com/prometheus-servicemonitor-alerting.html/","summary":"\u003ch2 id=\"一为什么需要这次实验\"\u003e一、为什么需要这次实验？\u003c/h2\u003e\n\u003cp\u003e本篇解决监控平台的下一层问题：\u003cstrong\u003e指标是否真的被发现并采集？报警表达式何时生效？告警最终是否抵达 Alertmanager？\u003c/strong\u003e\u003c/p\u003e\n\u003cp\u003e实验目标：\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003e区分 \u003ccode\u003eService\u003c/code\u003e、\u003ccode\u003eServiceMonitor\u003c/code\u003e、\u003ccode\u003eTarget\u003c/code\u003e、\u003ccode\u003ePrometheusRule\u003c/code\u003e、\u003ccode\u003eAlertmanager\u003c/code\u003e 的职责；\u003c/li\u003e\n\u003cli\u003e在 \u003ccode\u003edemo\u003c/code\u003e 命名空间部署独立的可控 \u003ccode\u003e/metrics\u003c/code\u003e 测试端点（\u003cstrong\u003e不修改正在使用的 nginx-demo\u003c/strong\u003e）；\u003c/li\u003e\n\u003cli\u003e在 \u003ccode\u003emonitoring\u003c/code\u003e 命名空间通过 ServiceMonitor 跨命名空间发现测试服务；\u003c/li\u003e\n\u003cli\u003e验证 Targets \u003ccode\u003eUP\u003c/code\u003e、自定义指标、PrometheusRule 的 \u003ccode\u003ePending → Firing → Resolved\u003c/code\u003e；\u003c/li\u003e\n\u003cli\u003e了解告警规则与 Alertmanager 路由、通知之间的区别；\u003c/li\u003e\n\u003cli\u003e保存可复现的验收命令、截图及清理方式。\u003c/li\u003e\n\u003c/ol\u003e\n\u003cblockquote\u003e\n\u003cp\u003e状态说明：以下是已编写并完成本地 YAML/脚本检查的可执行实验方案，\u003cstrong\u003e不是\u003c/strong\u003e对当前集群实时完成情况的断言。项目中的 \u003ccode\u003e#05\u003c/code\u003e 应在实际验证后再将 \u003ccode\u003edraft\u003c/code\u003e 改为 \u003ccode\u003efalse\u003c/code\u003e。\u003c/p\u003e\n\u003c/blockquote\u003e\n\u003ch2 id=\"二当前实验环境\"\u003e二、当前实验环境\u003c/h2\u003e\n\u003ctable\u003e\n\t\u003cthead\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003cth\u003e项目\u003c/th\u003e\n\t\t\t\t\t\u003cth\u003e环境信息\u003c/th\u003e\n\t\t\t\u003c/tr\u003e\n\t\u003c/thead\u003e\n\t\u003ctbody\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eKubernetes\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003ev1.28.15\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e管理节点\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eh11（\u003ccode\u003e192.168.6.11\u003c/code\u003e）\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e应用节点\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eh12，\u003ccode\u003enativeopslab.io/role=app\u003c/code\u003e\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e可观测性节点\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eh15，\u003ccode\u003enativeopslab.io/role=observability\u003c/code\u003e\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e监控命名空间\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003emonitoring\u003c/code\u003e\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e已有 Demo\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003edemo/nginx-demo\u003c/code\u003e，已有 2 个运行副本（此前验收）\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e新建实验服务\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003edemo/nativeopslab-metrics-demo\u003c/code\u003e，HTTP 9105\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003ePrometheus / Grafana / Alertmanager\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e核心组件在 h15，已有 PVC Bound\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eHelm Release\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003emonitoring\u003c/code\u003e（按此前部署记录）\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eChart 版本\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e此系列文档以 \u003ccode\u003ekube-prometheus-stack 65.8.1\u003c/code\u003e 为配置参考；以现场 \u003ccode\u003ehelm list -n monitoring\u003c/code\u003e 为准\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\u003c/tbody\u003e\n\u003c/table\u003e\n\u003cp\u003e\u003cstrong\u003e本篇不执行 Helm 升级，不改变 OpenEBS PVC，不删除已经运行的监控 Pod。\u003c/strong\u003e\u003c/p\u003e","title":"Prometheus Targets、ServiceMonitor 与 Kubernetes 告警规则实战"},{"content":"一、为什么监控平台需要持久化？ kubectl get pods 看起来一切正常，并不等于监控系统具备可靠性。尤其是第一次用 Helm 安装 kube-prometheus-stack 时，常见三个问题：\nPrometheus 重建后历史时序数据消失：因为使用了临时存储，或者新的实例没有挂载原来的 PVC。 Grafana 修改的配置与自建 Dashboard 丢失：Grafana 默认数据库文件需要持久化存储，不能只依靠 Pod 文件系统。 Alertmanager 静默记录丢失：告警路由配置可来自 Secret，但 Silences 等运行状态仍需存储。 所以本篇目标不是简单“让 Pod Running”，而是建立一套 Helm 配置有版本、核心服务可控调度、PVC 可检查、Pod 重建后数据可验证 的可复现流程。\n特别注意：持久化 ≠ 跨节点高可用。openebs-hostpath 属于本地存储：Pod 在同一节点重建可重新挂载原数据，但节点磁盘故障、误删 PVC/PV 或重建节点可能导致数据丢失。本文方案定位为单节点实验室监控持久化，不是多副本生产存储方案。\n二、实验环境和目标架构 节点 地址 角色 h11 192.168.6.11 Kubernetes control-plane、执行 Helm 和 kubectl h12 192.168.6.12 业务工作节点 h13 192.168.6.13 Storage/Stateful 工作节点 h14 192.168.6.14 NFS Server + 工作节点 h15 192.168.6.15 Observability 工作节点 h16 192.168.6.16 集群外实验和访问测试客户端 本篇规划：\nKubernetes：v1.28.15 Namespace：monitoring Helm Release：monitoring Helm Chart：prometheus-community/kube-prometheus-stack 版本 65.8.1 NodeSelector：nativeopslab.io/role: observability StorageClass：openebs-hostpath Prometheus：5Gi PVC、保留 2d，retentionSize: 3GB Grafana：2Gi PVC Alertmanager：2Gi PVC Kubernetes cluster h11 (Helm/kubectl) | +---- monitoring namespace | +-- Prometheus Operator ----\u0026gt; h15 +-- Grafana -----------------\u0026gt; h15 ---- PVC 2Gi +-- Prometheus -------------\u0026gt; h15 ---- PVC 5Gi +-- Alertmanager -----------\u0026gt; h15 ---- PVC 2Gi | +-- node-exporter ----------\u0026gt; 各被监控节点（DaemonSet） +-- kube-state-metrics -----\u0026gt; 按其自身调度配置 StorageClass: openebs-hostpath PersistentVolume: h15 上的本地持久卷目录 为什么不把所有 Pod 都调度到 h15？ Prometheus、Grafana、Alertmanager、Operator 是重点；node-exporter 是 DaemonSet，应当覆盖需要监控的节点。如果把 node-exporter 也限制到 h15，就会丢失其他节点的宿主机指标。kube-state-metrics 不自动等于已绑定到 h15，需看实际 Values。\n三、部署前检查：不要直接覆盖原来的监控环境 下面命令默认在 h11 上执行。\n3.1 检查节点标签、存储类和资源 kubectl get nodes -L nativeopslab.io/role kubectl get node h15 --show-labels kubectl get sc kubectl get sc openebs-hostpath -o yaml kubectl get ns monitoring ssh root@192.168.6.15 \u0026#39;free -h; df -hT; df -i\u0026#39; 应确认：\nh15 为 Ready，且存在 nativeopslab.io/role=observability。\nopenebs-hostpath 的 provisioner 和 volumeBindingMode 处于预期状态，典型模式是 WaitForFirstConsumer。\nh15 可用内存、CPU、磁盘空间可满足新增监控负载及本地 PV 占用。\n若已安装监控，不要重新初始化或重复安装。\n如果缺少预期标签，先确认你确实要把 h15 作为监控节点，再执行：\nkubectl label node h15 nativeopslab.io/role=observability --overwrite 3.2 查看已有 Release 与 PVC helm list -A kubectl -n monitoring get deploy,sts,pod,pvc -o wide kubectl get pv -o wide 如果已经有 monitoring Release，先备份：\nmkdir -p ~/NativeOpsLab/manifests/monitoring/backup cd ~/NativeOpsLab/manifests/monitoring umask 077 helm -n monitoring get values monitoring -o yaml \u0026gt; backup/values-before.yaml helm -n monitoring get manifest monitoring \u0026gt; backup/manifest-before.yaml helm -n monitoring history monitoring \u0026gt; backup/history-before.txt kubectl -n monitoring get pvc -o yaml \u0026gt; backup/pvc-before.yaml kubectl get pv -o yaml \u0026gt; backup/pv-before.yaml Helm Values 和清单可能包含密码、地址或其他敏感配置。备份目录不要直接公开提交到 GitHub。如果已存在 PVC，其 StorageClass、绑定节点和历史数据优先级高于本文示例。不要为了套用新示例删除 PVC，也不要无备份地强行修改不可变 PVC 字段。\n四、理解三个重要概念 4.1 Helm Values：只维护一个源文件 helm upgrade --install 通过 -f values-monitoring.yaml 指定自己的参数。Helm 负责渲染 Kubernetes 资源；Prometheus Operator 再根据 Prometheus、Alertmanager 自定义资源生成 StatefulSet。\n必须区分三个配置入口：\n组件 Values 键路径 Grafana PVC grafana.persistence Prometheus PVC prometheus.prometheusSpec.storageSpec Alertmanager PVC alertmanager.alertmanagerSpec.storage 这三者层级不同，不能统一把 persistence 写在每个组件下。\n4.2 NodeSelector：约束 Pod 的调度位置 nodeSelector: nativeopslab.io/role: observability 节点没有这个标签，或者 h15 不能满足资源、污点和其他调度约束时，Pod 就可能 Pending。此外，已有 Local PV 所在节点如果与新 NodeSelector 不一致，也可能调度失败。\n4.3 OpenEBS Hostpath：绑定节点的本地 PV OpenEBS Local PV Hostpath 通常通过 WaitForFirstConsumer：先综合 Pod 调度约束选择节点，再在对应节点分配本地持久卷。这不是网络共享存储，也不具有跨节点自动复制能力。\n这里不要使用 Pod 的 spec.nodeName 来取代 NodeSelector；对于这种延迟绑定模式，绕过调度器可能使 PVC 保持 Pending。\n五、完整配置：values-monitoring.yaml 在 h11 创建目录：\nmkdir -p ~/NativeOpsLab/manifests/monitoring cd ~/NativeOpsLab/manifests/monitoring 文件完整内容如下：\n# NativeOpsLab / kube-prometheus-stack 65.8.1 grafana: nodeSelector: nativeopslab.io/role: observability persistence: enabled: true type: pvc storageClassName: openebs-hostpath accessModes: - ReadWriteOnce size: 2Gi resources: requests: cpu: 100m memory: 128Mi limits: memory: 512Mi prometheusOperator: nodeSelector: nativeopslab.io/role: observability resources: requests: cpu: 100m memory: 128Mi limits: memory: 512Mi prometheus: prometheusSpec: replicas: 1 nodeSelector: nativeopslab.io/role: observability retention: 2d retentionSize: 3GB resources: requests: cpu: 200m memory: 512Mi limits: memory: 2Gi storageSpec: volumeClaimTemplate: spec: storageClassName: openebs-hostpath accessModes: - ReadWriteOnce resources: requests: storage: 5Gi alertmanager: alertmanagerSpec: replicas: 1 nodeSelector: nativeopslab.io/role: observability resources: requests: cpu: 50m memory: 96Mi limits: memory: 256Mi storage: volumeClaimTemplate: spec: storageClassName: openebs-hostpath accessModes: - ReadWriteOnce resources: requests: storage: 2Gi 为什么 Grafana 选择 type: pvc？ 这里延续 #03 的设计，让 Grafana 使用 PVC 持久化，同时保留 Grafana 子 Chart 常规的 Deployment 形式。与 type: sts 不同，不强制修改 Grafana 工作负载类型。对已有 Release 特别重要：不要为了持久化而随意更换 Deployment / StatefulSet 类型或替换已经绑定的持久卷。\n为什么 Prometheus 有两个保留参数？ retention: 2d 指定时间维度，retentionSize: 3GB 指定 TSDB 的磁盘保留目标。它们不保证整个文件系统始终只用 3GB；WAL、检查点及文件系统开销还需预留空间。Prometheus 的 5Gi PVC 是容量请求，不等于 retentionSize。\nOpenEBS Hostpath 的 PVC 容量是否被文件系统硬性限制，取决于存储实现和配额配置；不要仅凭申领 5Gi 就认定宿主机磁盘绝不可能被写满。定期检查 h15 的文件系统实际可用空间。\n六、先验证 Values，再升级 Helm 6.1 检查 Chart 版本 helm repo add prometheus-community https://prometheus-community.github.io/helm-charts helm repo update helm show chart prometheus-community/kube-prometheus-stack --version 65.8.1 本系列为了实验结果可复现，固定为 65.8.1。Chart 的 appVersion 是 v0.77.2（指 Operator 版本），与 Helm Chart 版本不是一回事。切换 Chart 大版本必须单独评估 CRD 和模板变更。\n6.2 本地渲染 Helm 模板 helm template monitoring prometheus-community/kube-prometheus-stack \\ --version 65.8.1 \\ -n monitoring \\ -f values-monitoring.yaml \\ \u0026gt; rendered-monitoring.yaml 检查 Prometheus、Alertmanager 自定义资源和 Grafana 的持久化配置是否出现在渲染结果中。helm template 只是本地渲染，不代表真实 CSI、调度、节点容量已经通过验证。\n6.3 首次安装或更新 helm upgrade --install monitoring \\ prometheus-community/kube-prometheus-stack \\ --version 65.8.1 \\ -n monitoring \\ --create-namespace \\ -f values-monitoring.yaml \\ --wait --timeout 15m 如果原来存在无持久化的 Prometheus / Grafana 目录，添加 PVC 后不是“旧容器数据自动迁移到新盘”。 旧数据若需要保留，必须先做备份/迁移方案。本文适合空白部署或已经使用同一持久化设计的版本迭代。遇到 StorageClass 变更、Grafana 工作负载切换、Operator CRD 大版本变更时，先停止变更，核对现有资源。\n七、部署完成后必须验收的 8 项 7.1 查看 Helm 与工作负载 helm -n monitoring status monitoring kubectl -n monitoring get pod -o wide kubectl -n monitoring get deploy,sts,ds kubectl -n monitoring get prometheus,alertmanager 主要组件应该健康。并非所有 monitoring Pod 都在 h15：node-exporter 应遍布受监控节点。Grafana、Prometheus、Alertmanager、Operator 才是本文明确设置了 h15 NodeSelector 的目标。\n7.2 PVC 是否已绑定 kubectl -n monitoring get pvc -o wide kubectl get pv -o wide kubectl get sc openebs-hostpath 初次安装时，看到 PVC 短暂 Pending 不一定是错误：WaitForFirstConsumer 允许存储等待 Pod 调度之后再完成绑定。若持续 Pending，继续观察事件。\n7.3 PVC 的 StorageClass 和容量 kubectl -n monitoring get pvc \\ -o custom-columns=\u0026#39;NAME:.metadata.name,STATUS:.status.phase,STORAGECLASS:.spec.storageClassName,CAPACITY:.status.capacity.storage,VOLUME:.spec.volumeName\u0026#39; 验收标准：Grafana、Prometheus、Alertmanager 对应 PVC 都存在，StorageClass 为 openebs-hostpath，最终状态是 Bound；容量分别对应 2Gi、5Gi、2Gi。\n7.4 Pod 是否调度到了 h15 kubectl -n monitoring get pods -o wide kubectl -n monitoring describe pod \u0026lt;实际Pod名称\u0026gt; 用实际 Pod 名替换占位符；重点检查 Node、Node-Selectors 和 Events。\n7.5 检查 PV 的 NodeAffinity kubectl -n monitoring get pvc kubectl get pv \u0026lt;实际PV名称\u0026gt; -o yaml OpenEBS Local PV 通常会在 PV 上记录绑定节点的位置约束，确认它与调度到 h15 的 Pod 匹配。\n7.6 查看文件系统占用 ssh root@192.168.6.15 \u0026#39;df -hT; df -i\u0026#39; OpenEBS Hostpath 默认的本地目录通常位于 /var/openebs/local，但请以现场 StorageClass 参数和 PV 路径为准，不能直接假定每个集群都是同一个目录。\n7.7 验证 Prometheus 采集历史数据 先检查 Services：\nkubectl -n monitoring get svc 按实际 Service 名称执行端口转发（以下是此前 #03 的约定名称）：\nkubectl -n monitoring port-forward svc/monitoring-kube-prometheus-prometheus 9090:9090 在有权限访问此回环端口的主机上打开 http://127.0.0.1:9090，执行：\nup 先记录有数据的时间范围，再进行受控 Pod 重建验证。重建之后 up 恢复为 1，仅证明当前监控恢复，不足以证明历史数据没有丢失。 需要继续查询重建之前已存在的时间区间。\n7.8 验证 Grafana Dashboard 保存 检查 Grafana Service：\nkubectl -n monitoring get svc | grep grafana kubectl -n monitoring port-forward svc/monitoring-grafana 3000:80 在 Grafana UI 中新建一个明确命名的测试 Dashboard（例如 NativeOpsLab PVC Test），保存后记录名称。之后按下文进行受控重建，检查该 Dashboard 是否仍能打开。优先使用自己创建的 Dashboard测试，别仅依赖 Chart 自动下发的预置面板，因为它们可以被 Sidecar 自动重新生成。\n八、如何验证 Pod 重建后数据仍然存在？ 只在已备份、PVC Bound、实验环境可中断时测试。 如果这套监控正在承担真实生产告警职责，不应直接进行人为中断。\n先记录 Prometheus 历史指标时间段以及 Grafana 自建 Dashboard 名称。 使用 kubectl -n monitoring get deploy,sts 确认当前工作负载名称。 对 Grafana 执行滚动重启（以下名称符合 monitoring Release 的常见命名）： kubectl -n monitoring rollout restart deployment/monitoring-grafana kubectl -n monitoring rollout status deployment/monitoring-grafana --timeout=5m 再次检查 Grafana Dashboard 是否存在、PVC 是否仍 Bound。 需要进一步检查 Prometheus / Alertmanager 时，应先识别实际 StatefulSet，选定低风险时段按组件逐个重启，等每个组件恢复 Ready 再验证，避免一次性重启整个监控系统。 验收标准：Pod UID 发生变化、PVC 保持原来的 Volume 绑定，Grafana 测试 Dashboard 仍在，Prometheus 重启前的历史时间窗口仍能查询到数据。对于 Alertmanager，如要验证 Silences 持久化，应使用不会影响真实告警的测试用 Silence，并确认重启后仍存在。\n这里验证的是 Pod 重建 + 相同节点复用 PVC；它不是“h15 整机损毁后数据恢复”的验证。\n九、常见故障：看到什么、怎么排查？ 故障 1：Pod Pending kubectl -n monitoring describe pod \u0026lt;实际Pod名称\u0026gt; kubectl get node h15 --show-labels kubectl describe node h15 可能原因：h15 标签不匹配、节点资源不足、污点限制、Local PV 节点亲和性冲突。不要通过直接修改 nodeName 绕过调度器。\n故障 2：PVC 一直 Pending kubectl -n monitoring describe pvc \u0026lt;实际PVC名称\u0026gt; kubectl get sc openebs-hostpath -o yaml kubectl -n monitoring get events --sort-by=.lastTimestamp | tail -n 40 可能原因：Provisioner 不健康、Pod 无法调度、VolumeBindingMode 与调度约束不匹配、节点磁盘或权限问题。优先查具体 Events，而不是直接删 PVC。\n故障 3：Grafana 数据没保存 kubectl -n monitoring get deploy,sts | grep grafana kubectl -n monitoring get pvc | grep grafana kubectl -n monitoring describe pod \u0026lt;Grafana实际Pod名称\u0026gt; 检查是否仍使用 emptyDir，实际数据目录 /var/lib/grafana 是否对应 PVC，是否曾切换到另一个 PVC，是否有写入权限问题。\n故障 4：Prometheus 启动失败、只读或 WAL 报错 kubectl -n monitoring logs \u0026lt;Prometheus实际Pod名称\u0026gt; -c prometheus --tail=100 kubectl -n monitoring describe pod \u0026lt;Prometheus实际Pod名称\u0026gt; ssh root@192.168.6.15 \u0026#39;df -hT; df -i\u0026#39; 常见检查方向：卷是否挂载成功、磁盘和 inode 是否耗尽、权限与文件系统是否只读、资源限制是否过低、Prometheus TSDB/WAL 是否异常。不要直接删除 WAL 或 TSDB 数据目录；应先检查日志、备份现有数据，再决定恢复方案。\n故障 5：Helm 升级后 PVC 没有变化 helm -n monitoring get values monitoring -o yaml helm -n monitoring get manifest monitoring | grep -nE \u0026#39;storageClassName|volumeClaimTemplates\u0026#39; kubectl -n monitoring get pvc -o wide 检查 Helm Values 是否写错层级、是否实际升级成功，以及旧 PVC 是否已经固定了不可变配置。修改 Helm YAML 不代表 Kubernetes 自动更换了已存在 PVC 的 StorageClass。\n十、生产环境风险与边界 1. Local PV 不是高可用存储。 h15 故障后不能保证另一节点自动接管原数据。需要高可用时应评估复制存储、远程指标存储、备份与恢复等独立方案。\n2. PVC Bound 不是备份。 还应有可验证的备份及恢复流程。特别关注 OpenEBS StorageClass 的 reclaimPolicy，Delete 策略下删除 PVC 可能连带删除存储数据。\n3. 持久化不保证安全。 Grafana 管理员口令、Prometheus/Alertmanager UI 访问权限、网络策略、备份文件权限同样重要。优先使用受控的 kubectl port-forward 或经认证的入口；不要为了测试随意将管理接口暴露公网。\n4. 监控容量需要估算。 本文 5Gi Prometheus + 2Gi Grafana + 2Gi Alertmanager 是小型实验室配置示例，不是所有业务通用的生产容量。要结合抓取目标、样本量、保留时间、磁盘余量和写入速率调整。\n5. Helm 与 Git 必须有对应关系。 Values、Chart 版本、备份及验收记录应当保留在版本管理流程中；Secret 和敏感备份不要直接上传公开仓库。\n十一、结语 Kubernetes 监控持久化的正确目标不是“给 Values 加几个 storageClassName 字段”，而是完整验证：\nHelm Values → NodeSelector → Pod 调度 → PVC/PV 绑定 → 数据写入 → Pod 重建 → 历史数据仍可用。\n这是实验室从“部署一个可以打开页面的监控系统”，迈向“具有基本可靠性与可运维性的平台”的关键一步。\n官方参考资料 kube-prometheus-stack 65.8.1 官方 Values：https://raw.githubusercontent.com/prometheus-community/helm-charts/kube-prometheus-stack-65.8.1/charts/kube-prometheus-stack/values.yaml kube-prometheus-stack 65.8.1 Chart.yaml：https://raw.githubusercontent.com/prometheus-community/helm-charts/kube-prometheus-stack-65.8.1/charts/kube-prometheus-stack/Chart.yaml Kubernetes StorageClass / WaitForFirstConsumer：https://kubernetes.io/docs/concepts/storage/storage-classes/ OpenEBS Local PV Hostpath：https://openebs.io/docs/main/user-guides/local-storage-user-guide/local-pv-hostpath/configuration/hostpath-storageclass-parameters ","permalink":"https://nativeopslab.com/kubernetes-monitoring-persistence-helm-nodeselector-openebs.html/","summary":"\u003ch2 id=\"一为什么监控平台需要持久化\"\u003e一、为什么监控平台需要持久化？\u003c/h2\u003e\n\u003cp\u003e\u003ccode\u003ekubectl get pods\u003c/code\u003e 看起来一切正常，并不等于监控系统具备可靠性。尤其是第一次用 Helm 安装 \u003ccode\u003ekube-prometheus-stack\u003c/code\u003e 时，常见三个问题：\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003e\u003cstrong\u003ePrometheus 重建后历史时序数据消失\u003c/strong\u003e：因为使用了临时存储，或者新的实例没有挂载原来的 PVC。\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003eGrafana 修改的配置与自建 Dashboard 丢失\u003c/strong\u003e：Grafana 默认数据库文件需要持久化存储，不能只依靠 Pod 文件系统。\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003eAlertmanager 静默记录丢失\u003c/strong\u003e：告警路由配置可来自 Secret，但 Silences 等运行状态仍需存储。\u003c/li\u003e\n\u003c/ol\u003e\n\u003cp\u003e所以本篇目标不是简单“让 Pod Running”，而是建立一套 \u003cstrong\u003eHelm 配置有版本、核心服务可控调度、PVC 可检查、Pod 重建后数据可验证\u003c/strong\u003e 的可复现流程。\u003c/p\u003e\n\u003cblockquote\u003e\n\u003cp\u003e\u003cstrong\u003e特别注意\u003c/strong\u003e：持久化 ≠ 跨节点高可用。\u003ccode\u003eopenebs-hostpath\u003c/code\u003e 属于本地存储：Pod 在同一节点重建可重新挂载原数据，但节点磁盘故障、误删 PVC/PV 或重建节点可能导致数据丢失。本文方案定位为单节点实验室监控持久化，不是多副本生产存储方案。\u003c/p\u003e\n\u003c/blockquote\u003e\n\u003ch2 id=\"二实验环境和目标架构\"\u003e二、实验环境和目标架构\u003c/h2\u003e\n\u003ctable\u003e\n\t\u003cthead\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003cth\u003e节点\u003c/th\u003e\n\t\t\t\t\t\u003cth\u003e地址\u003c/th\u003e\n\t\t\t\t\t\u003cth\u003e角色\u003c/th\u003e\n\t\t\t\u003c/tr\u003e\n\t\u003c/thead\u003e\n\t\u003ctbody\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eh11\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e192.168.6.11\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eKubernetes control-plane、执行 Helm 和 kubectl\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eh12\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e192.168.6.12\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e业务工作节点\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eh13\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e192.168.6.13\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eStorage/Stateful 工作节点\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eh14\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e192.168.6.14\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eNFS Server + 工作节点\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eh15\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e192.168.6.15\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eObservability 工作节点\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eh16\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e192.168.6.16\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e集群外实验和访问测试客户端\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\u003c/tbody\u003e\n\u003c/table\u003e\n\u003cp\u003e本篇规划：\u003c/p\u003e","title":"Kubernetes 监控持久化——Helm Values、NodeSelector 与 OpenEBS PVC"},{"content":"一、为什么 CPU 不高，服务器仍可能很慢？ 运维中经常遇到三种看似矛盾的现象：\n一个进程显示 CPU 100%，但服务器整体 CPU 使用率并不高。 Load Average 很高，而 top 中的 CPU 空闲比例仍然很大。 CPU 不忙，应用响应却很慢，磁盘延迟、等待队列或其他依赖可能成为瓶颈。 这些现象并不矛盾，因为 CPU 使用率、Load Average 和磁盘 I/O 延迟测量的是不同事情。\n本文沿用 NativeOpsLab 的三组实验：\n实验 研究问题 核心工具 Day 8 / #001 单核 100%，是否等于整机 CPU 满载？ stress-ng、mpstat、pidstat Day 9 / #002 Load 高但 CPU 不高，为什么？ uptime、vmstat、mpstat、ps Day 10 / #003 CPU 不忙，如何判断是否是磁盘 I/O 问题？ fio、iostat、vmstat、pidstat 最终目标不是背几个命令，而是能通过指标判断：任务究竟在执行、排队，还是等待其他资源。\n二、实验环境和安全边界 本系列使用 NativeOpsLab 的集群外实验机 h16（Rocky Linux 9），不在 Kubernetes 控制面 h11，也不在承载服务的 h12～h15 上制造压力。\nKubernetes 集群：h11～h15 │ │ 独立实验、互不干扰 ▼ h16（Linux 性能实验机） ├─ CPU / 单核亲和性实验 ├─ 调度队列 / Load Average 实验 └─ 受控的本地磁盘 I/O 实验 h16 曾按 2 vCPU 规划，但实际 CPU 数量必须以执行命令得到的结果为准。虚拟机的 CPU 调度、存储后端和其他负载会影响测试结果。\n2.1 安装工具 在 h16 上执行：\nsudo dnf install -y stress-ng sysstat fio util-linux procps-ng 检查：\nnproc lscpu | grep -E \u0026#39;^CPU\\(s\\):|^Model name:\u0026#39; free -h lsblk -f findmnt -T /var/tmp 创建实验目录：\nmkdir -p ~/NativeOpsLab/experiments/linux/{001-cpu-high,002-load-average,003-io-wait} 安全要求： 所有压测都设置结束时间；磁盘测试只操作明确指定的临时文件；不要在根分区空间不足、宿主机存储紧张或业务运行期间强行提高负载。快照不等于数据备份。\n三、CPU 使用率：一个进程 100% 是什么意思？ 3.1 单核使用率与整机使用率不同 假设一台服务器有 2 个逻辑 CPU：\nCPU 使用率（示意） CPU 0 100% CPU 1 0% 整机平均 约 50% 如果某个单线程进程长期占满一个 CPU，它可能在 top 中显示约 100% CPU，但其他 CPU 仍然空闲。不同工具的 CPU 百分比统计口径可能不同；在多核机器上，一个多线程进程的进程级 %CPU 甚至可能超过 100%。\n查看每个逻辑 CPU：\nmpstat -P ALL 1 5 定位高 CPU 进程：\ntop pidstat -u 1 5 ps -eo pid,ppid,psr,stat,%cpu,comm --sort=-%cpu | head -n 15 mpstat 的 %usr、%sys、%iowait、%idle 是不同时间类别。分析 CPU 真正忙于执行任务的时间时，不能把 iowait 误当成程序正在消耗 CPU 计算能力。\n3.2 Day 8：单核压测实验 先查看允许使用的 CPU：\ntaskset -pc $$ 下述命令要求 CPU 0 位于允许的 CPU 集合中。如果命令报 Invalid argument，需要选择实际允许的 CPU 编号。\n在第一个终端启动 90 秒压测：\ncd ~/NativeOpsLab/experiments/linux/001-cpu-high uptime | tee before-uptime.txt mpstat -P ALL 1 5 | tee before-mpstat.txt taskset -c 0 stress-ng \\ --cpu 1 \\ --timeout 90s \\ --metrics-brief \\ \u0026gt; stress.log 2\u0026gt;\u0026amp;1 \u0026amp; STRESS_PID=$! 在压力仍运行时采集：\nmpstat -P ALL 1 5 | tee during-mpstat.txt pidstat -u 1 5 | tee during-pidstat.txt ps -eo pid,comm,psr,%cpu --sort=-%cpu | head -n 10 回到启动压测的终端，等压力结束：\nwait \u0026#34;$STRESS_PID\u0026#34; mpstat -P ALL 1 5 | tee after-mpstat.txt 预期现象（非实测）： 若为 2 个逻辑 CPU，CPU 0 可能接近满载，而整机平均执行负载约为一半。具体数值受调度、虚拟化宿主负载和采样窗口影响。\n3.3 如何判断 CPU 真正成为瓶颈？ 不仅要看一个进程的 %CPU，还要一起看：\n各逻辑 CPU 是否普遍繁忙。 是否存在长时间等待 CPU 的可运行任务。 是否有 CPU 亲和性、容器 CPU 配额或节流限制。 响应时间是否随 CPU 压力变化。 如果只有一个核心繁忙，应该优先检查单线程热点、线程亲和性或调度约束，而不是立即给整台服务器扩容。\n四、Load Average：它为什么不等于 CPU 百分比？ 4.1 uptime 中的三个数字 uptime 假设显示：\nload average: 4.20, 3.10, 1.80 这是示例，三个值反映最近约 1、5、15 分钟的平均系统负载。它们不是百分比。\n在 Linux 中，负载统计主要包括：\nR 类： 正在 CPU 上运行，或处于可运行队列、等待 CPU 调度的任务。 D 类： 不可中断睡眠任务，常见于等待磁盘、网络文件系统等内核操作。 因此，Load 高可能源于 CPU 竞争，也可能源于不可中断睡眠任务堆积。\n“Load 大于 CPU 数量就一定有性能故障”并不严谨：还要考虑持续时间、可用 CPU 集合、任务延迟、I/O 状态，以及容器 CPU 配额。\n4.2 Day 9：八个任务竞争一个 CPU 以下命令让 8 个 CPU 压力工作进程被限制在 CPU 0，最长运行 240 秒：\ncd ~/NativeOpsLab/experiments/linux/002-load-average uptime | tee before-uptime.txt vmstat 1 5 | tee before-vmstat.txt taskset -c 0 stress-ng \\ --cpu 8 \\ --timeout 240s \\ --metrics-brief \\ \u0026gt; stress.log 2\u0026gt;\u0026amp;1 \u0026amp; STRESS_PID=$! sleep 90 uptime | tee during-uptime.txt mpstat -P ALL 1 5 | tee during-mpstat.txt vmstat 1 5 | tee during-vmstat.txt pidstat -u 1 5 | tee during-pidstat.txt 观察工作进程：\nps -eo pid,ppid,stat,psr,%cpu,comm --sort=-%cpu | head -n 20 pgrep -af stress-ng 结束后（在启动的同一个终端）：\nwait \u0026#34;$STRESS_PID\u0026#34; uptime | tee after-uptime.txt mpstat -P ALL 1 5 | tee after-mpstat.txt 预期现象（非实测）： CPU 0 可接近满载；其他 CPU 可能空闲，但多个任务挤在一个 CPU 的可运行队列上，系统 Load 会逐渐抬升。压力结束后 CPU 使用率会较快下降，Load Average 则因为具有时间平滑特性，通常不会立刻恢复到基线。\n4.3 vmstat：区分运行队列与阻塞 vmstat 1 5 字段 实际含义 排查提示 r 正在运行或等待运行的可运行任务数量 高时考虑 CPU 竞争 / 亲和性 / 配额 b 处于不可中断睡眠的任务数量 高时结合 D 状态、I/O 和内核等待继续查 us 用户态 CPU 时间占比 应用计算负载 sy 内核态 CPU 时间占比 系统调用、中断、内核活动 id CPU 空闲时间占比 不能单独判断业务是否卡顿 wa CPU iowait 时间占比 需结合设备延迟，不能直接等同磁盘利用率 si swap 换入量 非零且持续时关注内存压力 so swap 换出量 非零且持续时关注内存压力 vmstat 第一行通常是开机以来的平均统计，观察当前变化时应重点看后续采样行。\n五、磁盘 I/O：CPU 空闲不代表应用响应快 5.1 先分清 iowait 和磁盘延迟 iowait： CPU 处于空闲且有未完成磁盘 I/O 的时间统计，不是进程等待 I/O 的精确时长。 r_await / w_await： iostat 统计的平均读/写请求完成延迟，通常包括排队和设备处理时间，单位为毫秒。 aqu-sz： 平均 I/O 队列长度。 %util： 统计周期内设备处理至少一个 I/O 的时间比例；对具备并行能力的 SSD/NVMe，不能简单用 %util=100% 判断性能极限。 查看：\niostat -y -xz 1 5 pidstat -d 1 5 -y 用于跳过自启动以来的首个累计报告（支持该选项的 sysstat 版本）。关注当前采样数据，而不是把首个累计值误认为当前故障时刻。\n5.2 Day 10：使用 fio 进行受控 I/O 测试 先确认 h16 本地实验磁盘有足够空间，并且该路径没有重要业务文件：\ndf -hT /var/tmp df -i /var/tmp findmnt -T /var/tmp 创建仅供本次测试使用的目录：\nsudo mkdir -p /var/tmp/nativeopslab-day10 sudo chown \u0026#34;$(id -u):$(id -g)\u0026#34; /var/tmp/nativeopslab-day10 cd ~/NativeOpsLab/experiments/linux/003-io-wait uptime | tee before-uptime.txt vmstat 1 5 | tee before-vmstat.txt iostat -y -xz 1 5 | tee before-iostat.txt 启动最多约 90 秒、256MiB 测试文件的随机读写负载：\nfio \\ --name=nativeopslab-io \\ --filename=/var/tmp/nativeopslab-day10/test.bin \\ --size=256M \\ --rw=randrw \\ --rwmixread=70 \\ --bs=4k \\ --ioengine=libaio \\ --iodepth=4 \\ --direct=1 \\ --numjobs=1 \\ --time_based \\ --runtime=90 \\ --group_reporting \\ --output=fio-result.txt \u0026amp; FIO_PID=$! 在另一终端立即执行，确保采样发生在 fio 运行期间：\niostat -y -xz 1 10 vmstat 1 10 pidstat -d 1 5 也可以在相同工作目录分别保存这些输出。等待压测结束后：\nwait \u0026#34;$FIO_PID\u0026#34; cat fio-result.txt 重点阅读 fio 的 IOPS、BW、lat、clat 及不同分位数延迟（如 p95/p99，具体以输出为准）。\n预期现象（非实测）： 高负载时请求延迟、队列可能增加，但本实验不保证明显出现 iowait、D 状态或严重延迟，尤其是在高速 SSD 或缓存影响较大的环境中。不能为了制造截图而无限提高压力。\n5.3 如何检查 D 状态？ ps -eo pid,ppid,stat,wchan:25,comm | awk \u0026#39;$3 ~ /^D/\u0026#39; D 状态不等于硬盘故障。 如果存在 D 状态任务，应结合 wchan、内核日志、NFS 状态、块设备延迟等信息进一步判断；不要对未知 D 状态进程一律执行 kill -9。\n5.4 测试后恢复 pgrep -af fio uptime | tee after-uptime.txt vmstat 1 5 | tee after-vmstat.txt iostat -y -xz 1 5 | tee after-iostat.txt rm -f /var/tmp/nativeopslab-day10/test.bin rmdir /var/tmp/nativeopslab-day10 只删除上述实验专用文件和空目录，不要递归删除 /var/tmp。\n六、把三类指标放在一起判断 现象 候选原因 下一步检查 单核接近 100%，其他核心空闲 单线程热点、CPU 亲和性 mpstat -P ALL、top -H、taskset -pc PID 全部 CPU 长时间高使用，r 较大 CPU 资源竞争 vmstat、pidstat -u、进程栈/火焰图 Load 高、整机 CPU 平均不高、r 较大 任务集中在少数 CPU、CPU 配额或调度受限 CPU 亲和性、cgroup CPU 配额与节流 Load 高、CPU 不高、b / D 状态任务增加 不可中断等待，可能涉及存储/NFS ps ... wchan、iostat、内核日志 CPU 不高、await 显著升高 存储 I/O 延迟是重点嫌疑 设备、文件系统、I/O 来源、应用延迟 CPU / Load / I/O 均正常，应用仍慢 网络、锁竞争、数据库或外部依赖 curl -w、ss、应用日志/链路追踪 这里都是定位方向，不是凭某一个数字就能做出的根因结论。\n七、生产环境遇到卡顿，我会按什么顺序排查？ 第一步：确认影响范围和时间点 date uptime who journalctl --since \u0026#39;15 minutes ago\u0026#39; -p warning --no-pager | tail -n 80 先明确是整机慢、某个服务慢，还是偶发性慢。\n第二步：看 CPU 是“真正繁忙”还是“单核热点” mpstat -P ALL 1 5 pidstat -u 1 5 top -b -n 1 | head -n 25 第三步：看任务在运行还是等待 vmstat 1 5 ps -eo pid,ppid,stat,wchan:25,comm | head -n 40 如果 r 较高，继续检查 CPU 调度；如果 b、D 状态较多，继续调查内核等待。\n第四步：看 I/O 延迟而非只看磁盘空间 iostat -y -xz 1 5 pidstat -d 1 5 df -hT df -i df 检查容量和 inode，iostat 检查吞吐、队列和请求延迟，二者解决的是不同问题。\n第五步：关联到真实业务响应 对可访问的业务 URL 检查：\ncurl -sS -o /dev/null \\ -w \u0026#39;dns=%{time_namelookup}s connect=%{time_connect}s first_byte=%{time_starttransfer}s total=%{time_total}s\\n\u0026#39; \\ http://demo.nativeopslab.local/ 这个域名是 NativeOpsLab 曾用于 h16 验证 Kubernetes Nginx 的实验域名。执行前需要确保解析和应用仍有效。time_starttransfer 是到首字节的累计时间，不等于纯后端处理时间。\n真正的性能排障，应让系统指标、具体进程和业务响应三者相互印证。\n八、三个常见误区与风险提醒 误区：一个进程 CPU 100% 就该扩容服务器。 先确认逻辑 CPU 数量、单核热点、亲和性以及线程模型。 误区：Load 高就是 CPU 使用率高。 Linux Load 还包含不可中断睡眠任务；它也不是百分比。 误区：iowait 高就代表硬盘坏了。 必须结合 await、队列、设备、内核日志及应用延迟判断。 生产环境尤其避免：\n在 Kubernetes 控制面或业务节点运行未经评估的 stress-ng / fio。 在真实业务数据目录指定 fio --filename，测试有可能覆盖文件内容。 用 kill -9 作为排障第一步，或对根分区制造“磁盘写满”故障。 只观察一次 top 就确定根因，或把各工具不同统计窗口的数据强行作比较。 九、总结 本次专题最重要的结论是：\nCPU 使用率：CPU 时间花在哪里，要区分单核与整机，并看采样口径。 Load Average：系统中有多少任务在运行、等待 CPU 或处于不可中断睡眠，不是 CPU 百分比。 磁盘 I/O：吞吐量高不必然意味着服务慢，请求延迟与队列往往更能反映问题。 对应的排障思路可以概括为：\n服务慢 ↓ 确认业务症状和时间窗口 ↓ mpstat / pidstat：CPU 是否忙，哪个核和进程忙？ ↓ vmstat / ps：任务在排队，还是不可中断等待？ ↓ iostat / pidstat -d：I/O 请求是否变慢，谁在读写？ ↓ 结合应用响应、日志、网络和依赖，验证根因 ↓ 修复 → 再测 → 记录证据 ","permalink":"https://nativeopslab.com/linux-performance-cpu-load-io.html/","summary":"\u003ch2 id=\"一为什么-cpu-不高服务器仍可能很慢\"\u003e一、为什么 CPU 不高，服务器仍可能很慢？\u003c/h2\u003e\n\u003cp\u003e运维中经常遇到三种看似矛盾的现象：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e一个进程显示 \u003cstrong\u003eCPU 100%\u003c/strong\u003e，但服务器整体 CPU 使用率并不高。\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003eLoad Average 很高\u003c/strong\u003e，而 \u003ccode\u003etop\u003c/code\u003e 中的 CPU 空闲比例仍然很大。\u003c/li\u003e\n\u003cli\u003eCPU 不忙，应用响应却很慢，磁盘延迟、等待队列或其他依赖可能成为瓶颈。\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003e这些现象并不矛盾，因为 \u003cstrong\u003eCPU 使用率、Load Average 和磁盘 I/O 延迟测量的是不同事情\u003c/strong\u003e。\u003c/p\u003e\n\u003cp\u003e本文沿用 NativeOpsLab 的三组实验：\u003c/p\u003e\n\u003ctable\u003e\n\t\u003cthead\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003cth\u003e实验\u003c/th\u003e\n\t\t\t\t\t\u003cth\u003e研究问题\u003c/th\u003e\n\t\t\t\t\t\u003cth\u003e核心工具\u003c/th\u003e\n\t\t\t\u003c/tr\u003e\n\t\u003c/thead\u003e\n\t\u003ctbody\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eDay 8 / #001\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e单核 100%，是否等于整机 CPU 满载？\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003estress-ng\u003c/code\u003e、\u003ccode\u003empstat\u003c/code\u003e、\u003ccode\u003epidstat\u003c/code\u003e\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eDay 9 / #002\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eLoad 高但 CPU 不高，为什么？\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003euptime\u003c/code\u003e、\u003ccode\u003evmstat\u003c/code\u003e、\u003ccode\u003empstat\u003c/code\u003e、\u003ccode\u003eps\u003c/code\u003e\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eDay 10 / #003\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eCPU 不忙，如何判断是否是磁盘 I/O 问题？\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003efio\u003c/code\u003e、\u003ccode\u003eiostat\u003c/code\u003e、\u003ccode\u003evmstat\u003c/code\u003e、\u003ccode\u003epidstat\u003c/code\u003e\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\u003c/tbody\u003e\n\u003c/table\u003e\n\u003cp\u003e最终目标不是背几个命令，而是能通过指标判断：\u003cstrong\u003e任务究竟在执行、排队，还是等待其他资源。\u003c/strong\u003e\u003c/p\u003e\n\u003ch2 id=\"二实验环境和安全边界\"\u003e二、实验环境和安全边界\u003c/h2\u003e\n\u003cp\u003e本系列使用 NativeOpsLab 的集群外实验机 \u003cstrong\u003eh16（Rocky Linux 9）\u003c/strong\u003e，不在 Kubernetes 控制面 h11，也不在承载服务的 h12～h15 上制造压力。\u003c/p\u003e","title":"Linux 性能排障实战：CPU、Load Average 与磁盘 I/O 的关系"},{"content":"一、为什么 Kubernetes 需要监控平台？ kubectl get pods 能显示当前状态，但无法回答以下问题：过去一小时 CPU 为什么升高？哪个节点内存持续减少？Pod 为什么重启？一次故障发生前有哪些异常信号？告警是否真的进入通知处理链路？\n这次部署三大核心组件：\nPrometheus：定时抓取、保存时序指标，并通过 PromQL 查询。 Grafana：用 Dashboard 呈现节点、Pod、容器等指标。 Alertmanager：接收 Prometheus 产生的告警，执行分组、去重、静默与路由；没有配置接收渠道时，不等于已经能发邮件或消息。 通过 kube-prometheus-stack Helm Chart，一次安装 Prometheus Operator、Prometheus、Alertmanager、Grafana、kube-state-metrics、node-exporter，以及相关 ServiceMonitor、PrometheusRule 和 Dashboard。\n二、实验环境与部署规划 主机 地址 角色 h11 192.168.6.11 Kubernetes control-plane / 运维入口 h12 192.168.6.12 App Worker；Nginx Demo 已部署 h13 192.168.6.13 Storage / Stateful Worker h14 192.168.6.14 NFS Server + Worker h15 192.168.6.15 Observability Worker；放置主要监控实例 h16 192.168.6.16 集群外测试与压测客户端 Kubernetes：v1.28.15 CNI：Cilium / Hubble 存储：openebs-hostpath（默认，ReadWriteOnce、WaitForFirstConsumer） Namespace：monitoring Helm Release：monitoring 本文固定 Chart：kube-prometheus-stack 65.8.1 选择此固定版本用于旧版本 Kubernetes 实验室，而不是无条件安装最新 Chart。这个 Chart 的 Chart.yaml 声明 kubeVersion: \u0026quot;\u0026gt;=1.19.0-0\u0026quot;；版本约束满足不等于所有镜像、CRD 和监控目标都已经通过现场验收。\n2.1 监控链路 Node Exporter -----------\\ kube-state-metrics --------+--\u0026gt; ServiceMonitor --\u0026gt; Prometheus --\u0026gt; PromQL --\u0026gt; Grafana kubelet / cAdvisor -------/ | API Server / Operator ---------------------------------+--\u0026gt; Alert Rules | v Alertmanager | receiver / silence / routing Prometheus、Grafana、Alertmanager 和 Operator 主要调度到 h15；但 node-exporter 是 DaemonSet，应部署到需要监控的各个节点，不能统一限制到 h15，否则会丢失其他节点指标。\n三、部署前检查（h11 执行） 3.1 检查节点与标签 kubectl get nodes -o wide kubectl get nodes -L nativeopslab.io/role kubectl get namespace monitoring 确认 h15 显示 nativeopslab.io/role=observability，且处于 Ready。检查 h15 是否有足够的可用磁盘及内存：\nssh root@192.168.6.15 \u0026#39;free -h; df -hT; df -i\u0026#39; 如果主机资源不足，应缩小监控范围或增加资源，不要盲目增加 Prometheus 副本。\n3.2 检查存储与已有监控 kubectl get sc kubectl get sc openebs-hostpath -o yaml kubectl -n monitoring get all,pvc helm list -A 如果已有 monitoring Release，先备份当前配置再修改：\nhelm -n monitoring get values monitoring -o yaml \u0026gt; monitoring-values-before.yaml helm -n monitoring history monitoring 没有该 Release 时，上述 get values 会报 release: not found，属于正常情况，直接进入首次安装即可。\n存储风险：OpenEBS Local PV Hostpath 的数据位于选定节点的本地目录，不提供跨节点自动复制。WaitForFirstConsumer 表示等待消费 PVC 的 Pod 调度后再绑定；不要用 nodeName 绕过调度器。后续如果 h15 故障，不应把“Pod 重新调度”理解成“历史监控数据会自动恢复”。\n3.3 检查 Helm helm version kubectl version --client 如 Helm 已安装，直接使用，避免不必要的重复安装。 如果Helm没有安装，执行\nwget https://get.helm.sh/helm-v3.19.0-linux-amd64.tar.gz tar xf helm-v3.19.0-linux-amd64.tar.gz mv linux-amd64/helm /usr/bin/ \u0026amp;\u0026amp; rm -rf linux-amd64/ helm-v3.19.0-linux-amd64.tar.gz 四、选择并固定 Helm Chart 版本 helm repo add prometheus-community \\ https://prometheus-community.github.io/helm-charts helm repo update helm search repo prometheus-community/kube-prometheus-stack --versions | head 固定版本并记录：\nexport CHART_VERSION=65.8.1 mkdir -p ~/NativeOpsLab/manifests/monitoring cd ~/NativeOpsLab/manifests/monitoring printf \u0026#39;kube-prometheus-stack=%s\\n\u0026#39; \u0026#34;$CHART_VERSION\u0026#34; \u0026gt; chart-versions.txt helm show chart prometheus-community/kube-prometheus-stack \\ --version \u0026#34;$CHART_VERSION\u0026#34; 如果仓库、镜像或版本下载失败，不要换成 latest 随意重试；应先定位网络、代理或镜像源问题，并固定一组能复现的版本。\n五、编写 values-monitoring.yaml 本实验的三个核心状态组件需要持久化：Grafana 2Gi、Prometheus 5Gi、Alertmanager 2Gi，都使用 openebs-hostpath。Prometheus 只保留短期指标：2d、3GB，适合目前的小规模实验室；并不是长期高可用方案。\n# NativeOpsLab / kube-prometheus-stack 65.8.1 grafana: nodeSelector: nativeopslab.io/role: observability persistence: enabled: true type: pvc storageClassName: openebs-hostpath accessModes: - ReadWriteOnce size: 2Gi resources: requests: cpu: 100m memory: 128Mi limits: memory: 512Mi prometheusOperator: nodeSelector: nativeopslab.io/role: observability resources: requests: cpu: 100m memory: 128Mi limits: memory: 512Mi prometheus: prometheusSpec: replicas: 1 nodeSelector: nativeopslab.io/role: observability retention: 2d retentionSize: 3GB resources: requests: cpu: 200m memory: 512Mi limits: memory: 2Gi storageSpec: volumeClaimTemplate: spec: storageClassName: openebs-hostpath accessModes: - ReadWriteOnce resources: requests: storage: 5Gi alertmanager: alertmanagerSpec: replicas: 1 nodeSelector: nativeopslab.io/role: observability resources: requests: cpu: 50m memory: 96Mi limits: memory: 256Mi storage: volumeClaimTemplate: spec: storageClassName: openebs-hostpath accessModes: - ReadWriteOnce resources: requests: storage: 2Gi 保存为 ~/NativeOpsLab/manifests/monitoring/values-monitoring.yaml。这里没有禁用其他节点的 node-exporter；如果集群没有 kube-proxy（Cilium 代理替代场景），稍后根据实际情况处理 kube-proxy 的抓取目标，不能直接假定它存在或不存在。\n六、Helm 模板检查与安装 先校验 Helm 渲染结果，再安装：\ncd ~/NativeOpsLab/manifests/monitoring export CHART_VERSION=65.8.1 helm template monitoring \\ prometheus-community/kube-prometheus-stack \\ --version \u0026#34;$CHART_VERSION\u0026#34; \\ -n monitoring \\ -f values-monitoring.yaml \\ \u0026gt; rendered-monitoring.yaml helm upgrade --install monitoring \\ prometheus-community/kube-prometheus-stack \\ --version \u0026#34;$CHART_VERSION\u0026#34; \\ --namespace monitoring \\ --create-namespace \\ -f values-monitoring.yaml \\ --wait --timeout 15m 如果 Helm 因镜像拉取、CRD 或存储原因超时，不要直接卸载、删除 PVC 或重建集群。应先保留事件及失败状态进行排查。\n七、验证 Pod、Operator、PVC 与节点调度 helm list -n monitoring kubectl -n monitoring get deploy,sts,ds,pod -o wide kubectl -n monitoring get pvc -o wide kubectl get prometheus,alertmanager -n monitoring kubectl -n monitoring get svc 验收目标：\n检查项 目标 Helm Release deployed Prometheus / Alertmanager / Grafana 相关 Pod 就绪，无持续 CrashLoop Prometheus Operator Deployment 可用 Prometheus、Alertmanager、Grafana PVC Bound 主要监控 Pod 调度到 h15 node-exporter 覆盖需要监控的节点 kube-state-metrics 正常运行 检查 PVC 对应的节点和 PV：\nkubectl -n monitoring get pod -o wide kubectl -n monitoring get pvc kubectl get pv -o wide kubectl -n monitoring describe pvc \u0026lt;实际PVC名称\u0026gt; WaitForFirstConsumer 导致的短暂 Pending 不一定是故障；只有 Pod 不能成功调度/创建卷时才需要深入诊断。\n八、安全访问三个 Web 页面 这里先采用 kubectl port-forward + SSH 隧道，不用将 Prometheus、Alertmanager 的管理 UI 直接暴露到局域网，更不要暴露公网。\n在 h11 的三个不同终端分别执行：\n# 终端 A：Grafana kubectl -n monitoring port-forward \\ svc/monitoring-grafana 3000:80 # 终端 B：Prometheus kubectl -n monitoring port-forward \\ svc/monitoring-kube-prometheus-prometheus 9090:9090 # 终端 C：Alertmanager kubectl -n monitoring port-forward \\ svc/monitoring-kube-prometheus-alertmanager 9093:9093 如果上面某个 Service 名称与现场不一致，先用 kubectl -n monitoring get svc 找到实际名称再替换。port-forward 默认监听本地回环地址，相对安全。\n在自己的 Windows PC / h16 再开一个 SSH 客户端终端：\nssh \\ -L 3000:127.0.0.1:3000 \\ -L 9090:127.0.0.1:9090 \\ -L 9093:127.0.0.1:9093 \\ root@192.168.6.11 然后在 SSH 客户端所在机器的浏览器打开：\nGrafana：http://127.0.0.1:3000 Prometheus：http://127.0.0.1:9090 Alertmanager：http://127.0.0.1:9093 Grafana 用户名通常为 admin。获取 Helm 创建的初始密码：\nkubectl -n monitoring get secret monitoring-grafana \\ -o jsonpath=\u0026#39;{.data.admin-password}\u0026#39; | base64 -d printf \u0026#39;\\n\u0026#39; 不要将包含密码的终端截图发布到 X 或博客，初次登录后立即改密。\n九、Prometheus Targets 和 PromQL 验证 Prometheus UI 里打开 Status → Targets，查看具体目标是否为 UP。\n优先执行：\nup 查看已发现的 Kubernetes Node：\ncount(kube_node_info) 查看某台节点可用内存（字节）：\nnode_memory_MemAvailable_bytes CPU 忙碌时间比例示例：\n100 * (1 - avg by (instance) (rate(node_cpu_seconds_total{mode=\u0026#34;idle\u0026#34;}[5m]))) 解释：node_cpu_seconds_total 是 CPU 各种状态的累计秒数；通过 rate 和空闲时间占比，计算近 5 分钟 CPU 非空闲百分比。\n如果 count(kube_node_info) 不等于预期节点数，先检查 kube-state-metrics target 和发现机制；如果 node-exporter 缺某台节点，再检查其 DaemonSet Pod 和 ServiceMonitor，而不是马上调高 Prometheus 内存。\n另外，控制平面、etcd、kube-proxy 指标是否可抓取依赖实际监听配置。尤其 Cilium 使用 kube-proxy replacement 时，可能没有 kube-proxy DaemonSet。执行：\nkubectl -n kube-system get daemonset kube-proxy kubectl -n monitoring get servicemonitor 如果未部署 kube-proxy，可以在 values 增加以下可选配置，避免创建没有真实服务的抓取目标：\nkubeProxy: enabled: false 这是确认没有 kube-proxy 后的条件操作，不要为了把 DOWN 隐藏而盲目禁用全部监控目标。\n十、Grafana Dashboard 验收 登录 Grafana 后查看 Connections → Data Sources，确认 Prometheus 数据源可用；打开预置 Kubernetes / Node Dashboard。\n重点选择以下维度：\nNode CPU 与 Memory Node 网络收发速率 Namespace / Pod CPU 与 Memory Pod Restart PVC 容量与状态（取决于采集目标和存储指标可用性） Grafana 有图表但数据为空时，应先打开 Prometheus 查询 up、kube_node_info 等基础指标，再检查 Dashboard 变量或标签名，不应直接认定 Grafana 安装失败。\n十一、Alertmanager：制造一个安全的测试告警 我们不通过关机、停 kubelet 或删除业务 Pod 来触发告警。创建一个不会伤害集群的合成指标规则：\napiVersion: monitoring.coreos.com/v1 kind: PrometheusRule metadata: name: nativeopslab-monitoring-test namespace: monitoring labels: release: monitoring spec: groups: - name: nativeopslab.lab rules: - alert: NativeOpsLabMonitoringTest expr: vector(1) for: 1m labels: severity: warning lab: nativeopslab annotations: summary: \u0026#34;NativeOpsLab monitoring chain test\u0026#34; description: \u0026#34;Temporary synthetic alert; delete after validation.\u0026#34; 保存为 test-alert.yaml，应用并观察：\nkubectl apply -f test-alert.yaml kubectl -n monitoring get prometheusrule nativeopslab-monitoring-test 等待至少 1～2 分钟，打开 Prometheus UI 的 Alerts，查看 NativeOpsLabMonitoringTest 从 Pending 到 Firing；然后到 Alertmanager UI 检查是否收到对应告警。\n若 Prometheus 没有发现规则，检查 release: monitoring 是否与 Chart 的规则选择器匹配：\nkubectl -n monitoring get prometheus -o yaml kubectl -n monitoring describe prometheusrule nativeopslab-monitoring-test 重要区别：Alertmanager UI 能看到告警只证明接收/处理链路的一部分；若没有配置 Email、Webhook 或其他 Receiver，不会自动发送通知。通知发送、恢复消息、分组和静默需要后续单独配置和验收。\n测试结束后删除合成规则，避免长期保留假告警：\nkubectl delete -f test-alert.yaml 十二、生产化思考：持久化、容量与安全 1. h15 故障的影响。 所有主要监控实例固定到 h15，易于管理，却形成单节点故障域；openebs-hostpath 是本地存储，不是共享或高可用存储。监控系统本身的故障也应有外部检测手段。\n2. PV 回收风险。 当前 StorageClass 使用 Delete 回收策略时，删除 PVC 可能连数据一起清理。执行 helm uninstall、删除 StatefulSet/PVC 之前，先备份并检查 PV 的 ReclaimPolicy；Helm 卸载与 PVC 生命周期不完全相同，不应凭经验假设数据仍在。\n3. 监控自身资源。 小型实验室可以保留 2 天数据，但不能保证磁盘永远不会满。定期观察 Prometheus TSDB、WAL、PVC 可用空间、prometheus_tsdb_head_series 以及抓取目标数量。\n4. 不直接暴露管理接口。 Prometheus 和 Alertmanager 的 Web/API 若未经认证保护，不应通过公开 Ingress 或 LoadBalancer 暴露；Grafana 至少需要凭据管理、TLS 和访问范围控制。\n5. Kubernetes 1.28 的生命周期。 此版本已较旧，实验可以继续，但公开访问和长期生产环境应规划受支持版本升级；不要在当前未做备份的环境里直接升级。\n十三、常见故障与排查命令 故障现象 优先检查 ImagePullBackOff kubectl describe pod、镜像仓库连通性、证书与镜像标签 PVC 一直 Pending PVC Events、StorageClass、OpenEBS provisioner、Pod 调度 Prometheus Pending h15 标签、资源余量、taint、PVC 和 PV NodeAffinity Operator / Webhook 异常 CRD 是否存在、Operator 日志、admission webhook Grafana 页面可开但没图表 Data Source、Targets、PromQL 和 Dashboard 变量 部分 Targets DOWN 目标端口、网络策略、kubeadm 组件 metrics 监听 测试告警不出现 PrometheusRule selector、规则表达式、评估周期 Alertmanager 收到但不发邮件 Receiver、SMTP/Webhook、路由、网络、Secret 统一检查命令：\nkubectl -n monitoring get pods -o wide kubectl -n monitoring get pvc kubectl -n monitoring get events --sort-by=\u0026#39;.lastTimestamp\u0026#39; | tail -n 40 kubectl -n monitoring get servicemonitor,podmonitor,prometheusrule kubectl -n monitoring describe pod \u0026lt;异常Pod名称\u0026gt; kubectl -n monitoring logs deployment/monitoring-kube-prometheus-operator --tail=100 helm -n monitoring status monitoring 如果实际 Operator Deployment 名称不同，以 kubectl get deploy -n monitoring 输出为准。不要用 kubectl delete pvc --all 或 helm uninstall 作为排障第一步。\n十四、总结 Prometheus 解决“数据从哪里来、如何查询”，Grafana 解决“如何看懂数据”，Alertmanager 解决“发现异常后如何管理告警”。\n这次建设的正确验收顺序应该是：\nHelm 安装 → Pod / Operator 健康 → PVC 持久化 → Targets UP → PromQL 查到节点指标 → Grafana Dashboard 有数据 → PrometheusRule Firing → Alertmanager 收到告警 安装成功不是终点，采集、查询、可视化和告警链路完成验证，才算真正部署成功。\n参考资料 kube-prometheus-stack 官方 Helm Chart 固定版本 65.8.1 的 Chart.yaml OpenEBS Local PV Hostpath 文档 Kubernetes kubectl port-forward 文档 ","permalink":"https://nativeopslab.com/nativeopslab-prometheus-grafana-alertmanager.html/","summary":"\u003ch2 id=\"一为什么-kubernetes-需要监控平台\"\u003e一、为什么 Kubernetes 需要监控平台？\u003c/h2\u003e\n\u003cp\u003e\u003ccode\u003ekubectl get pods\u003c/code\u003e 能显示当前状态，但无法回答以下问题：过去一小时 CPU 为什么升高？哪个节点内存持续减少？Pod 为什么重启？一次故障发生前有哪些异常信号？告警是否真的进入通知处理链路？\u003c/p\u003e\n\u003cp\u003e这次部署三大核心组件：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\u003cstrong\u003ePrometheus\u003c/strong\u003e：定时抓取、保存时序指标，并通过 PromQL 查询。\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003eGrafana\u003c/strong\u003e：用 Dashboard 呈现节点、Pod、容器等指标。\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003eAlertmanager\u003c/strong\u003e：接收 Prometheus 产生的告警，执行分组、去重、静默与路由；\u003cstrong\u003e没有配置接收渠道时，不等于已经能发邮件或消息\u003c/strong\u003e。\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003e通过 \u003ccode\u003ekube-prometheus-stack\u003c/code\u003e Helm Chart，一次安装 Prometheus Operator、Prometheus、Alertmanager、Grafana、kube-state-metrics、node-exporter，以及相关 ServiceMonitor、PrometheusRule 和 Dashboard。\u003c/p\u003e\n\u003ch2 id=\"二实验环境与部署规划\"\u003e二、实验环境与部署规划\u003c/h2\u003e\n\u003ctable\u003e\n\t\u003cthead\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003cth\u003e主机\u003c/th\u003e\n\t\t\t\t\t\u003cth\u003e地址\u003c/th\u003e\n\t\t\t\t\t\u003cth\u003e角色\u003c/th\u003e\n\t\t\t\u003c/tr\u003e\n\t\u003c/thead\u003e\n\t\u003ctbody\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eh11\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e192.168.6.11\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eKubernetes control-plane / 运维入口\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eh12\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e192.168.6.12\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eApp Worker；Nginx Demo 已部署\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eh13\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e192.168.6.13\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eStorage / Stateful Worker\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eh14\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e192.168.6.14\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eNFS Server + Worker\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eh15\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e192.168.6.15\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eObservability Worker；放置主要监控实例\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eh16\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e192.168.6.16\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e集群外测试与压测客户端\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\u003c/tbody\u003e\n\u003c/table\u003e\n\u003cul\u003e\n\u003cli\u003eKubernetes：\u003ccode\u003ev1.28.15\u003c/code\u003e\u003c/li\u003e\n\u003cli\u003eCNI：Cilium / Hubble\u003c/li\u003e\n\u003cli\u003e存储：\u003ccode\u003eopenebs-hostpath\u003c/code\u003e（默认，\u003ccode\u003eReadWriteOnce\u003c/code\u003e、\u003ccode\u003eWaitForFirstConsumer\u003c/code\u003e）\u003c/li\u003e\n\u003cli\u003eNamespace：\u003ccode\u003emonitoring\u003c/code\u003e\u003c/li\u003e\n\u003cli\u003eHelm Release：\u003ccode\u003emonitoring\u003c/code\u003e\u003c/li\u003e\n\u003cli\u003e本文固定 Chart：\u003ccode\u003ekube-prometheus-stack 65.8.1\u003c/code\u003e\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003e选择此固定版本用于旧版本 Kubernetes 实验室，而不是无条件安装最新 Chart。这个 Chart 的 \u003ccode\u003eChart.yaml\u003c/code\u003e 声明 \u003ccode\u003ekubeVersion: \u0026quot;\u0026gt;=1.19.0-0\u0026quot;\u003c/code\u003e；\u003cstrong\u003e版本约束满足不等于所有镜像、CRD 和监控目标都已经通过现场验收\u003c/strong\u003e。\u003c/p\u003e","title":"Prometheus + Grafana + Alertmanager 监控平台部署实战"},{"content":"如果把服务器比作高速公路，正常用户就是有序通行的汽车；DDoS 攻击则像大量车辆同时涌向收费站，把道路、收费窗口甚至整座城市的入口堵住。\n这时，IPTables 就像服务器上的交通警察：可以识别异常状态、限制部分来源的通行速度，并对可疑连接采取丢弃措施。\n但交警也有能力边界：如果城市外的高速入口已经被堵死，收费站再严格也无法恢复上游道路的通行能力。这就是主机防火墙和 CDN / 云端 DDoS 清洗之间的区别。\n这篇文章以 Linux 服务器为例，介绍 IPTables 的防护思路、可在实验机验证的规则，以及上线前必须考虑的误伤、IPv6、持久化和回滚问题。\n实验与生产边界：以下 IPTables 配置仅供独立测试环境演练。不要直接复制到正在运行 firewalld、nftables 或 Kubernetes 网络组件的生产宿主机。规则顺序、现有防火墙策略和管理入口不同，都可能导致业务中断。\n一、先搞清楚：我们在防哪种 DDoS？ 攻击类型 常见现象 主机侧能做什么 更合适的防护层 SYN Flood 大量 TCP 建连请求，连接状态异常 针对 SYN 报文限速、观察内核统计 L3/L4 边缘清洗与主机协同 UDP Flood UDP 报文激增，带宽或处理能力被占满 关闭非必要端口、按业务限速 上游运营商、云端清洗 HTTP CC 大量看似正常的 HTTP 请求，接口耗时上升 监控连接与流量，但不能精确识别 URL 请求 Nginx、WAF、CDN、应用层限流 连接耗尽 某些来源建立大量并发连接 connlimit、连接数监控 代理层和主机层联合控制 关键区别：IPTables 主要看到 IP、端口、TCP 标志与连接状态；真正的 HTTP 请求路径、Cookie、用户行为通常应在 Nginx 或 WAF 层判断。\n二、动手之前：先确认系统现状 以 Rocky Linux 9 / RHEL 9 系列为例，建议先检查系统实际使用哪套防火墙：\ncat /etc/rocky-release # 当前 firewalld 状态 systemctl is-active firewalld # 查看当前 nftables 规则 sudo nft list ruleset # IPTables 命令使用的后端 iptables -V # 查看已有 IPv4 / IPv6 规则 sudo iptables -S sudo ip6tables -S # 查看监听端口和连接概况 ss -lntup ss -s 在 RHEL 9 系列系统中，官方更推荐 firewalld / nftables。IPTables 的兼容命令适合学习原理或维护既有规则，但不要在 firewalld 正在管理规则时，随意叠加一套互不知情的防火墙配置。临时 IPTables 规则也可能在 firewalld 重载后消失。\n如果是 Kubernetes 节点，尤其要谨慎：kube-proxy、CNI、Service NAT 等可能依赖现有网络规则，直接清空或重建规则集有机会影响整个集群。\n三、基础防护：先认识连接状态 Linux 的 conntrack（连接跟踪）会为流量维护连接状态，例如：\nNEW：属于新连接的报文。 ESTABLISHED：属于已建立连接的报文。 RELATED：与已有连接相关的报文。 INVALID：无法被连接跟踪正常识别的报文。 常见的基础过滤规则：\niptables -A INPUT \\ -m conntrack --ctstate INVALID \\ -j DROP 这条规则的意思是：对于被标记为 INVALID 的入站报文，直接丢弃。\n但不要把 INVALID 简单等同于攻击。非对称路由、连接跟踪表压力、特殊网络设备或业务场景，都可能影响状态判定。真实环境应先结合已有规则和抓包结果判断是否适合启用。\n四、SYN Flood：给 TCP 建连设置收费站 当大量 SYN 报文涌入时，可以通过 hashlimit 按来源 IP 对报文速率进行限制。\n和普通 limit 不同，hashlimit --hashlimit-mode srcip 可以针对不同来源分别计数，而不是使用一个全局共享阈值。\n下面演示一个只处理 IPv4、目的端口 443、且设置了 SYN 标志的数据包的独立测试链：\n# 1. 先备份当前 IPv4 规则 sudo install -d -m 700 /root/firewall-backup sudo sh -c \u0026#39;umask 077; iptables-save \u0026gt; /root/firewall-backup/iptables.before-ddos.rules\u0026#39; # 2. 创建专用测试链 sudo iptables -N DDOS_SYN_GUARD # 3. 单个来源 SYN 速率超过示例阈值时丢弃 sudo iptables -A DDOS_SYN_GUARD \\ -m hashlimit \\ --hashlimit-name https_syn_guard \\ --hashlimit-mode srcip \\ --hashlimit-above 30/second \\ --hashlimit-burst 60 \\ -j DROP # 4. 未超限的报文返回原有 INPUT 链继续检查 sudo iptables -A DDOS_SYN_GUARD -j RETURN # 5. 只让 HTTPS SYN 报文进入这个测试链 sudo iptables -I INPUT 1 \\ -p tcp --dport 443 --syn \\ -j DDOS_SYN_GUARD 这段配置有四个关键点：\n只匹配 443/TCP 的 SYN 报文，不会把所有 TCP 流量都放进同一个限速器。 --hashlimit-mode srcip 表示以来源 IP 为单位计数。 --hashlimit-above 配合 DROP，意味着命中超额条件时丢弃；不是简单写一个 ACCEPT 就能完成限制。 RETURN 会把未超额流量交回原有 INPUT 规则处理，不是无条件放行。 30/second、60 只是实验阈值，不代表适合你的业务。大量用户共享一个 NAT 出口时，按来源 IP 限速尤其容易误伤。\n注意：这不是完整的生产防火墙策略，也不应在流量高峰或没有带外访问手段时直接运行。它仅演示一个独立、可观察、可移除的规则链。\n五、连接数限制：控制异常并发 速率和并发连接数不是一回事。\n如果某个来源长期保持大量连接，可考虑 connlimit。例如下面的实验性匹配规则：\niptables -A INPUT \\ -p tcp --syn --dport 22 \\ -m connlimit --connlimit-above 3 --connlimit-mask 32 \\ -j DROP 它针对单个 IPv4 来源地址，限制匹配到的 SSH 新建连接超过指定并发数量时继续建立连接。\n实际 SSH 管理场景不推荐直接照搬这么低的阈值：自动化、跳板机、NAT 出口或运维工具可能需要多条连接。防止 SSH 暴力破解，更应该优先考虑密钥登录、限制管理来源、Fail2ban 等方案。\n六、HTTP CC 攻击：为什么不能只靠 IPTables？ 假设有人持续访问：\nGET /api/orders GET /api/search GET /login 请求可能使用同一个 TCP 长连接，甚至使用 HTTP/2 多路复用。\n所以，TCP SYN 数量不等于 HTTP 请求数量。\nHTTP 层限流通常应放在 Nginx / 网关 / WAF。以 Nginx 为例：\n# 放在 http {} 中 limit_req_zone $binary_remote_addr \\ zone=api_limit:10m rate=10r/s; # 放在对应 server {} 的 location 中 location /api/ { limit_req zone=api_limit burst=20 nodelay; limit_req_status 429; proxy_pass http://backend; } 参数含义：\nrate=10r/s：单个统计键的平均请求速率示例。 burst=20：允许有限突发。 nodelay：对允许的突发请求不主动排队延迟。 limit_req_status 429：超限时返回 429。 修改配置后先检查：\nnginx -t 确认无误后再受控重载。\n如果 Nginx 位于 CDN、反向代理后面，还要先正确配置可信代理 IP 和真实客户端 IP 解析。否则 $binary_remote_addr 可能得到的是 CDN 节点地址，把所有访客算成同一个来源。\n七、动态黑名单：不是写一条 recent 就会自动封禁 IPTables 提供 recent 等匹配模块，可以记录近期出现过的来源并按照访问频率匹配。\n但这类功能需要正确的状态记录规则、匹配顺序、时间窗口和封禁动作。单独使用 --set 不等于完成自动封禁，也不能把“自动清理记录”理解成完整的业务解封策略。\n实践中，我更倾向于：\nNginx / SSH 日志 ↓ 异常行为检测 ↓ Fail2ban 或自建检测服务 ↓ 有过期时间的封禁名单 ↓ 告警、审计、人工复核 黑名单一定要注意三件事：误伤共享 IP、攻击者更换来源地址、封禁规则自身的维护成本。\n八、实战思路：电商网站同时遭遇 SYN Flood 和 HTTP CC 假设某电商网站出现以下现象：\n服务器 SYN 相关指标异常上升； Nginx 的请求量、429/5xx 状态码增加； 用户反馈首页访问慢、订单接口超时； 部分业务实例 CPU 和连接数持续升高。 我会按下面顺序处理，而不是先复制一大堆 DROP 规则。\n1. 确认瓶颈层级 # TCP 连接概况 ss -s # TCP 协议统计 nstat -az | grep -E \u0026#39;TcpExt|Tcp\u0026#39; # 当前 IPv4 规则及计数器 sudo iptables -vnL INPUT --line-numbers # 网卡接口与丢包统计 ip -s link 同时看 Nginx 访问日志、5xx 比例、应用响应时间、云平台流量图，以及是否已经打满入口带宽。\n2. 优先处理入口流量 如果是大规模带宽型攻击，先联系云厂商或上游服务商，启用云端清洗 / CDN 防护。\n如果是接口被大量请求，优先在边缘或应用网关针对具体路径、用户、令牌、会话等维度设置限流和挑战策略。\n主机 IPTables 可以作为最后一道补充防线，但不能代替上游清洗。\n3. 观察防火墙命中情况 sudo iptables -vnL DDOS_SYN_GUARD --line-numbers 检查丢弃计数是否上升，同时观察真实用户成功率、接口延迟与错误率。如果防护规则让正常用户大量失败，必须及时回滚或放宽阈值。\n九、回滚操作：比添加规则更重要 上文的独立测试链可以精准移除，不必直接清空 INPUT：\n# 1. 删除从 INPUT 到测试链的跳转 sudo iptables -D INPUT \\ -p tcp --dport 443 --syn \\ -j DDOS_SYN_GUARD # 2. 清空测试链里的规则 sudo iptables -F DDOS_SYN_GUARD # 3. 删除测试链 sudo iptables -X DDOS_SYN_GUARD 再检查：\nsudo iptables -S sudo iptables -vnL 不要为了回滚一个测试规则，直接执行 iptables -F 或 nft flush ruleset。 这些命令可能移除系统中其他服务需要的规则，尤其在 Kubernetes 和容器节点上风险很高。\n十、生产环境的五条经验 先观测，再拦截：统计正常基线流量，明确需要处理的异常特征。 规则先小范围上线：限定端口、来源或试验节点，准备回滚方法。 管理连接必须可靠：确认 SSH、跳板机和带外控制台，避免把自己锁在服务器外。 同步考虑 IPv6：本文的 IPTables 示例仅针对 IPv4，双栈服务不能忽略 IPv6。 防护要分层：大流量攻击靠上游清洗，HTTP 攻击靠网关 / WAF，主机防火墙用于补充过滤。 如果使用 Rocky Linux 9 构建新的长期防火墙方案，建议根据业务选择 firewalld 或原生 nftables，而不是持续堆叠临时 IPTables 命令。\n总结 把服务器当成高速公路，就容易理解这些安全措施：\nIP / 端口过滤：核验车牌和通行区域。 SYN / 连接限速：控制入口通行速度。 动态封禁：临时限制反复违规的车辆。 Nginx / WAF：检查进入服务后的具体访问行为。 CDN / 云清洗：把防线前移到城市入口，避免上游公路瘫痪。 IPTables 很有用，但真正可靠的 DDoS 防护不是一组神奇命令，而是一套可观察、可调优、可回滚的分层体系。\n参考文档 iptables-extensions：hashlimit、connlimit 等匹配模块 Red Hat Enterprise Linux 9：Configuring firewalls and packet filters NGINX：ngx_http_limit_req_module Cloudflare：How DDoS protection works ","permalink":"https://nativeopslab.com/linux-iptables-ddos-defense.html/","summary":"\u003cp\u003e如果把服务器比作高速公路，正常用户就是有序通行的汽车；DDoS 攻击则像大量车辆同时涌向收费站，把道路、收费窗口甚至整座城市的入口堵住。\u003c/p\u003e\n\u003cp\u003e这时，\u003cstrong\u003eIPTables 就像服务器上的交通警察\u003c/strong\u003e：可以识别异常状态、限制部分来源的通行速度，并对可疑连接采取丢弃措施。\u003c/p\u003e\n\u003cp\u003e但交警也有能力边界：如果城市外的高速入口已经被堵死，收费站再严格也无法恢复上游道路的通行能力。这就是主机防火墙和 CDN / 云端 DDoS 清洗之间的区别。\u003c/p\u003e\n\u003cp\u003e这篇文章以 Linux 服务器为例，介绍 IPTables 的防护思路、可在实验机验证的规则，以及上线前必须考虑的误伤、IPv6、持久化和回滚问题。\u003c/p\u003e\n\u003cblockquote\u003e\n\u003cp\u003e\u003cstrong\u003e实验与生产边界\u003c/strong\u003e：以下 IPTables 配置仅供独立测试环境演练。不要直接复制到正在运行 firewalld、nftables 或 Kubernetes 网络组件的生产宿主机。规则顺序、现有防火墙策略和管理入口不同，都可能导致业务中断。\u003c/p\u003e\n\u003c/blockquote\u003e\n\u003ch2 id=\"一先搞清楚我们在防哪种-ddos\"\u003e一、先搞清楚：我们在防哪种 DDoS？\u003c/h2\u003e\n\u003ctable\u003e\n\t\u003cthead\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003cth\u003e攻击类型\u003c/th\u003e\n\t\t\t\t\t\u003cth\u003e常见现象\u003c/th\u003e\n\t\t\t\t\t\u003cth\u003e主机侧能做什么\u003c/th\u003e\n\t\t\t\t\t\u003cth\u003e更合适的防护层\u003c/th\u003e\n\t\t\t\u003c/tr\u003e\n\t\u003c/thead\u003e\n\t\u003ctbody\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eSYN Flood\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e大量 TCP 建连请求，连接状态异常\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e针对 SYN 报文限速、观察内核统计\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eL3/L4 边缘清洗与主机协同\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eUDP Flood\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eUDP 报文激增，带宽或处理能力被占满\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e关闭非必要端口、按业务限速\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e上游运营商、云端清洗\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eHTTP CC\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e大量看似正常的 HTTP 请求，接口耗时上升\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e监控连接与流量，但不能精确识别 URL 请求\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eNginx、WAF、CDN、应用层限流\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e连接耗尽\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e某些来源建立大量并发连接\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003econnlimit、连接数监控\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e代理层和主机层联合控制\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\u003c/tbody\u003e\n\u003c/table\u003e\n\u003cp\u003e\u003cstrong\u003e关键区别：IPTables 主要看到 IP、端口、TCP 标志与连接状态；真正的 HTTP 请求路径、Cookie、用户行为通常应在 Nginx 或 WAF 层判断。\u003c/strong\u003e\u003c/p\u003e\n\u003ch2 id=\"二动手之前先确认系统现状\"\u003e二、动手之前：先确认系统现状\u003c/h2\u003e\n\u003cp\u003e以 Rocky Linux 9 / RHEL 9 系列为例，建议先检查系统实际使用哪套防火墙：\u003c/p\u003e","title":"Linux 防御 DDoS 实战：用 IPTables 给服务器装上交通警察"},{"content":"在 Linux 运维工作中，命令记得多并不等于排障快。真正重要的是：知道什么时候运行哪条命令、该看输出中的什么指标，以及怎样避免把排查操作变成新的故障。\n这篇文章保留八大常见分类，补充现代 Linux 系统里更实用的命令和生产环境注意事项。命令以 Rocky Linux 9 为主要示例，同时说明 Ubuntu/Debian 的差异；涉及故障的演示均明确区分“已验证的实验”和“模拟排查场景”。\n使用范围： Rocky Linux 9 / RHEL 系、Ubuntu Server 等采用 systemd 的现代 Linux。部分命令依赖额外安装的软件包。在生产系统执行停止服务、删除文件、升级软件、修改时间、网络或权限之前，请先评估影响、备份并准备回滚方案。\n一、系统信息查看命令 这类命令适合登录服务器后的第一轮巡检：先搞清楚“这是什么机器、什么系统、负载和资源是什么状态”。\n1. 系统版本、内核与硬件 命令 作用 重点 uname -a 显示内核、架构等综合信息 排查内核/驱动兼容性 uname -r 只查看运行中的内核版本 与已安装内核区分 cat /etc/os-release 查看发行版与版本 Rocky / Ubuntu 不同命令路径 hostnamectl 查看主机名、系统与内核 systemd 环境推荐 hostname 当前主机名 只读操作 lscpu CPU 架构与逻辑 CPU 核心数、虚拟化信息 nproc 当前进程可用的处理器数量 结合 CPU 配额判断 systemd-detect-virt 判断虚拟化或容器环境 KVM / VMware / container 等 who、w 当前登录用户与活动 排查异常会话 uname -r cat /etc/os-release hostnamectl lscpu | head -n 30 nproc 主机名修改： hostname newname 在不少系统上只是临时设置；现代系统优先使用 hostnamectl set-hostname newname。在 Kubernetes 节点上修改主机名之前必须评估 kubelet、证书与 Node 身份的影响，不要直接照搬。\n2. 时间、负载、内存与磁盘 命令 作用 关键判断 date、date -Is 当前系统时间 时区、日志时间戳 timedatectl 时间同步与时区状态 是否同步、时区是否正确 chronyc tracking chrony 同步状态 Rocky Linux 常用 uptime 运行时长、1/5/15 分钟平均负载 Load Average 不是 CPU 使用率 free -h 内存与 Swap 重点看 available，不只看 free df -hT 文件系统容量、类型 哪个挂载点快满了 df -i inode 使用情况 容量没满也可能无法建文件 du -sh /var/log 目录占用汇总 查看目录所占空间 lsblk -f 块设备、文件系统、挂载关系 磁盘/PV 排查 findmnt /var 查找指定路径所属挂载 避免误判磁盘位置 uptime free -h df -hT df -i lsblk -f timedatectl 读数容易误解的地方：\nuptime 的三个数字是 1、5、15 分钟平均负载。负载包含 CPU 可运行任务，以及部分不可中断睡眠的任务，不能直接当作 CPU 百分比。 多核服务器上的单个进程占用一个逻辑 CPU，不代表整台机器的 CPU 已经全部跑满。 Linux 会使用空闲内存做页缓存；free -h 中的 available 往往比 free 更有参考价值。 df 看文件系统总体用量，du 统计可遍历的文件/目录；二者明显不一致时还要想到“文件已删除、进程仍持有文件描述符”。 风险提示： date -s 是直接手工设置系统时间，不是时间同步命令。生产机器修改时间可能影响 TLS 证书校验、数据库、日志和分布式系统；优先检查 NTP/chrony，不要随意手动跳时。\n二、文件与目录管理命令 1. 目录与文件的基本操作 命令 用途 示例 pwd 查看当前目录 pwd ls -lah 含隐藏文件的详细列表 ls -lah /etc cd、cd ..、cd ~ 目录切换 cd /var/log mkdir -p 递归创建目录 mkdir -p /tmp/nativeopslab/logs rmdir 删除空目录 rmdir /tmp/empty-dir touch 创建空文件或更新时间戳 touch test.txt cp -a 尽可能保留属性复制 cp -a app.conf app.conf.bak mv 移动或重命名 mv app.conf.new app.conf rm -i 删除前交互确认 rm -i old.txt stat 查看文件时间、权限、属主 stat /etc/hosts 比 rm -rf 更稳妥的习惯：先列出目标，再执行删除。 生产环境尤其要核对当前目录、路径变量以及文件是否被其他应用使用。Linux 通常没有可以依赖的“回收站”。\n2. 查询、过滤与查看日志 命令 使用场景 find /var/log -type f -name '*.log' 按文件名找日志 find /var/log -type f -mtime -1 找近一天修改的文件 cat file 查看较小文本文件 less file 分页读取大文件，q 退出 head -n 20 file 读取开头 20 行 tail -n 100 file 读取末尾 100 行 tail -F file 持续跟踪日志，文件轮转后仍尝试追踪文件名 `grep -nEi \u0026rsquo;error failed grep -C 3 'ERROR' file 输出匹配行前后 3 行 wc -l file 统计行数 sort、uniq -c 排序与计数 awk、sed 文本字段提取与处理 实用示例：\n# 查看最近 100 行，并持续跟踪日志轮转 tail -n 100 -F /var/log/app/app.log # 从日志中找错误并显示上下文 grep -nEi -C 2 \u0026#39;error|failed|timeout\u0026#39; /var/log/app/app.log # 列出 /var/log 下大于 100MiB 的文件（只查看，不删除） find /var/log -type f -size +100M -printf \u0026#39;%s %p\\n\u0026#39; | sort -nr | head # 查看 /var 每个一级目录的用量，不跨文件系统 du -xhd1 /var 2\u0026gt;/dev/null | sort -h find / -name '*.log' 虽然能用，但可能扫描大量挂载、遇到无权限目录或对繁忙磁盘造成额外 I/O。排查时尽量限定范围，如 /var/log、应用数据目录。\n3. 运维常用的小技巧 # 安全查看文件是否包含某关键字 grep -n \u0026#39;listen\u0026#39; /etc/nginx/nginx.conf # 查看符号链接最终指向哪里 readlink -f /etc/localtime # 查看目录内容、时间和属主 ls -lah --time-style=long-iso /var/log 风险提示： rm -rf、find ... -delete、带覆盖效果的 mv 或重定向 \u0026gt; 都可能不可逆地破坏数据。不要对未知路径直接递归删除；更不要把 AI、博客或论坛中的占位路径不加检查就复制到生产环境执行。\n三、文件权限与用户管理命令 Linux 文件权限分为属主、属组及其他用户三个维度；服务器运维中还经常涉及 sudo、ACL 和进程实际运行身份。\n1. 权限检查与调整 命令 用途 ls -l file 查看 rwx、属主和属组 stat -c '%a %U:%G %n' file 数字权限、属主、属组 namei -l /path/to/file 沿路径逐级检查目录权限 chmod 640 file 给文件设置指定权限 chmod u+x script.sh 给文件属主添加执行权限 chown user:group file 修改属主属组 getfacl file 查看扩展 ACL（若已安装） setfacl -m u:appuser:r file 单独授予指定用户读取权限 umask 查看新建文件默认权限掩码 ls -l /etc/hosts stat -c \u0026#39;%a %U:%G %n\u0026#39; /etc/hosts namei -l /var/www/html/index.html 755 和 644 是常见模式，但不是所有目录和文件都适合的统一默认权限。私钥通常应更严格，例如 600；包含敏感配置的文件也不应让所有用户读取。\n风险提示： 不要为了解决 Permission denied 直接执行 chmod -R 777。应先使用 namei -l、stat、ACL 等明确是哪一级路径、哪个运行用户没有权限。chown -R 也会递归改变大量文件归属，操作前必须确认范围。\n2. 用户与组管理 命令 用途 id username 查看 UID、GID 和组 groups username 查看所属组 getent passwd username 查用户数据库中的账号信息 useradd username 创建账号（具体默认行为依发行版） passwd username 设置/更改密码 usermod -aG wheel username 在 Rocky 系中追加辅助组 su - username 以目标用户登录环境切换 sudo -l 查看当前用户允许执行的 sudo 命令 visudo 安全编辑 sudoers 配置 userdel -r username 删除账号及其家目录（高风险） id id nginx sudo -l 注意： usermod -aG 的 -a 不能随意省略，否则可能覆盖用户原来的辅助组；组变更后通常需要重新登录才能在新会话中生效。Ubuntu 管理组一般是 sudo，Rocky/RHEL 系常见为 wheel，以机器实际 sudoers 为准。\n四、进程管理命令 进程排查不仅要知道 PID，还要观察 CPU、内存、线程、父子关系以及哪个进程正在监听端口。\n命令 使用场景 ps -ef 查看进程、PPID 和启动命令 ps aux 查看用户、CPU 和内存占用 ps -eo pid,ppid,user,cmd,%cpu,%mem --sort=-%cpu 按 CPU 排序 top 动态查看系统负载和进程 top -H -p PID 查看指定进程的线程 pidstat -u 1 3 查看进程 CPU 使用情况（sysstat） mpstat -P ALL 1 3 查看每个逻辑 CPU 的使用情况 vmstat 1 5 快速观察 CPU、内存、交换和 I/O 等待 pgrep -a nginx 按名称查 PID 与命令 kill -TERM PID 请求进程正常退出 kill -KILL PID 最后手段，强制终止 ss -lntup 查看监听 TCP/UDP 端口及进程信息 lsof -nP -iTCP:80 -sTCP:LISTEN 查看监听 TCP 80 的进程 # 定位 CPU 使用率较高的进程 ps -eo pid,ppid,user,cmd,%cpu,%mem --sort=-%cpu | head -n 15 # 连续观察 CPU 情况（需要 sysstat） mpstat -P ALL 1 3 pidstat -u 1 3 # 检查 80/443 端口监听 ss -lntp \u0026#39;( sport = :80 or sport = :443 )\u0026#39; netstat -tulpn 在老教程里很常见；现代发行版优先用 ss -lntup（来自 iproute2/iproute）。netstat 可能需要额外安装 net-tools。\n停进程的正确顺序 # 1. 先定位并确认进程归属 ps -fp \u0026lt;PID\u0026gt; # 2. 先发送正常退出信号 kill -TERM \u0026lt;PID\u0026gt; # 3. 仍未退出且确认可以强制结束时，最后才使用 kill -KILL \u0026lt;PID\u0026gt; 尖括号 \u0026lt;PID\u0026gt; 是占位符，执行时替换为真实 PID。\n风险提示： 不要上来就 kill -9。它不会让应用执行正常退出流程，可能导致数据丢失或中断正在写入的事务。pkill 尤其是 pkill -f 可能误杀多个相似进程，先用 pgrep -af 确认匹配范围。\n五、网络管理命令 排查“网站打不开”时，优先建立边界：域名解析有问题？路由/ARP 有问题？TCP 端口不可达？还是已经到达 HTTP 服务但 Host、路径或后端有问题？\n1. IP、路由、邻居与 DNS 命令 用途 ip -br addr 紧凑查看网卡和地址 ip route 查看路由表 ip route get 192.168.6.61 查看目标 IP 的实际选路 ip neigh 查看 ARP/邻居缓存状态 ping -c 3 192.168.6.61 ICMP 连通性测试 getent hosts demo.nativeopslab.local 按系统名称解析规则查询，包含 /etc/hosts dig +short example.com DNS 查询（通常需 bind-utils/dnsutils） nslookup example.com 常见 DNS 排查工具 tracepath example.com 观察路径与 MTU 线索 traceroute example.com 追踪到目标的中间节点（可能需安装） ip -br addr ip route ip route get 192.168.6.61 ip neigh show 192.168.6.61 getent hosts demo.nativeopslab.local dig 通常直接查询 DNS，而 getent hosts 走系统名称解析机制，因此包含 /etc/hosts。验证本地映射时应优先用 getent。另外，ping 失败不能单独证明 HTTP/TCP 服务不可用：ICMP 可能被防火墙或对端策略过滤。\n2. 端口、HTTP 与抓包 命令 用途 ss -lntup 本机监听的 TCP/UDP 端口 nc -vz -w3 192.168.6.61 80 快速检查 TCP 连接 curl -I URL 仅获取 HTTP 响应头（HEAD 请求） curl -v URL 显示请求与连接过程 curl --resolve host:80:IP http://host/ 绕过 DNS 但保留正确 Host curl -w '%{http_code}' URL 输出 HTTP 状态码 tcpdump -ni IFACE 'host IP and tcp port 80' 观察网络包 firewall-cmd --list-all 查看 firewalld 规则（Rocky） # 仅确认目标 TCP 80 是否能建立连接 nc -vz -w3 192.168.6.61 80 # 输出状态码与实际连接的远端地址 curl -sS -o /dev/null \\ -w \u0026#39;HTTP=%{http_code} RemoteIP=%{remote_ip}\\n\u0026#39; \\ http://demo.nativeopslab.local/ # 排除 DNS 的影响，同时保留正确 HTTP Host curl -v \\ --resolve demo.nativeopslab.local:80:192.168.6.61 \\ http://demo.nativeopslab.local/ curl -I 发送的是 HEAD 请求，某些服务对 HEAD 和 GET 的处理不同；必要时用正常 GET 请求验证。对于通过 Ingress 按 Host 匹配的应用，直接 curl http://IP 不一定等价于访问域名。\n抓包示例（将网卡名替换为真实名称）：\nip -br addr sudo tcpdump -ni \u0026lt;网卡名\u0026gt; -c 20 \\ \u0026#39;arp or (host 192.168.6.61 and tcp port 80)\u0026#39; 风险提示： 抓包文件可能包含业务请求、Cookie、Token 等敏感数据，不要未经脱敏就公开。不要为了排障简单地关闭整个服务器防火墙；应先检查真实规则和命中路径。\n六、压缩解压与备份命令 1. tar：备份和恢复目录 # 打包并 gzip 压缩：-c 创建、-z gzip、-f 指定文件 mkdir -p /tmp/nativeopslab-backup tar -czf /tmp/nativeopslab-backup/config.tar.gz \\ -C /srv nativeopslab # 先列出归档内容，确认路径 tar -tzf /tmp/nativeopslab-backup/config.tar.gz | head # 解压到已确认的恢复目录 mkdir -p /tmp/nativeopslab-restore tar -xzf /tmp/nativeopslab-backup/config.tar.gz \\ -C /tmp/nativeopslab-restore 常用参数：-c 创建、-x 解包、-t 查看目录、-z gzip、-v 显示文件、-f 指定归档文件、-C 指定操作目录。\n以上 /srv/nativeopslab 是示例目录，操作前检查其存在性和真实用途，不要原样用于未知系统。\n2. zip、unzip 与 rsync # zip/unzip zip -r config.zip ./config unzip -l config.zip unzip config.zip -d /tmp/restore-config # rsync 预演：只显示预计同步操作，不真正复制 rsync -aHAXn --itemize-changes /srv/app/ /backup/app/ # 确认预演结果无误后，再考虑实际同步 rsync -aHAX /srv/app/ /backup/app/ 特别注意 rsync 结尾斜杠： /srv/app/ 表示同步目录内部内容；/srv/app 的行为不同。也不要没核对目标目录就加 --delete。\n3. 备份不是恢复 备份工作至少需要回答三个问题：\n归档是否生成，能否列出内容？ 能否在隔离的测试目录或环境成功恢复？ 数据库等有状态应用是否要求一致性备份，而不是直接打包正在写入的数据目录？ 风险提示： 解压来自不可信来源的压缩包要警惕路径穿越和覆盖。生产备份文件可能包含账号、私钥和数据库数据，应加密、限制访问并存放到不同故障域。\n七、软件安装与服务管理命令 1. Rocky Linux 与 Ubuntu 的包管理差异 操作 Rocky Linux 9 / RHEL 系 Ubuntu / Debian 系 刷新软件源信息 dnf makecache apt update 安装软件 dnf install nginx apt install nginx 查询软件包 dnf info nginx apt show nginx 删除软件包 dnf remove nginx apt remove nginx 更新已安装软件 dnf upgrade apt upgrade 查看升级历史 dnf history 可查 /var/log/apt/history.log Rocky 9 应优先用 dnf；yum 在一些系统中仍作为兼容命令存在。Ubuntu/Debian 通常使用 apt。\n日常排障中常用的工具包：\n# Rocky Linux 9 sudo dnf install -y \\ sysstat lsof tcpdump bind-utils nmap-ncat # Ubuntu / Debian sudo apt update sudo apt install -y \\ sysstat lsof tcpdump dnsutils netcat-openbsd 这些命令会改变系统安装状态，生产环境先检查软件源、版本和变更窗口；如果机器已有这些工具，无需重复安装。\n风险提示： dnf upgrade / apt upgrade 可能触发依赖升级、服务重启，某些更新还需要重启系统才能生效。生产环境先看变更清单并做好验证/回滚，尤其不要在 Kubernetes 集群所有节点上同时滚动升级。\n2. systemd 服务管理 命令 用途 systemctl status nginx --no-pager 状态和最近日志 systemctl is-active nginx 判断当前是否运行 systemctl is-enabled nginx 是否设为开机启动 systemctl start nginx 启动服务 systemctl stop nginx 停止服务 systemctl restart nginx 重启（会中断现有进程/连接，视服务实现） systemctl reload nginx 若服务支持，重载配置 systemctl enable --now nginx 设置开机启动并立即启动 systemctl disable nginx 取消开机自启，不等于立即停止 systemctl list-units --failed 列出失败的服务单元 systemctl cat nginx 查看服务单元和覆盖配置 以 Nginx 配置变更为例：\n# 先检查配置语法，再做变更 nginx -t # 如服务支持 reload，优先使用平滑重载 sudo systemctl reload nginx # 检查状态和日志 systemctl status nginx --no-pager journalctl -u nginx -n 50 --no-pager 风险提示： systemctl restart 不是“不会有副作用的排障工具”。对数据库、网络、远程登录服务和 Kubernetes 相关守护进程，重启前必须了解影响范围。\n八、日志查看与日常运维命令 现代 Linux 使用 systemd 时，journalctl 是最重要的日志工具之一。不同发行版的传统日志文件布局可能不同；例如 /var/log/messages 在部分 Rocky/RHEL 系可见，但 Ubuntu 更常用 /var/log/syslog 或 journald。\n1. journalctl 与故障定位 命令 作用 journalctl -b -p err --no-pager 本次启动后的错误级别日志 journalctl -u nginx -n 100 --no-pager 查看 Nginx 最近 100 条日志 journalctl -u sshd -f 实时跟踪 Rocky 系 SSH 日志 journalctl --since '1 hour ago' 查看近 1 小时日志 journalctl -k -b 本次启动的内核日志 journalctl --disk-usage 查看日志占用空间 systemctl --failed 查看失败服务 `dmesg -T tail -n 50` history 当前 Shell 可访问的命令历史 wc -l file 统计文件行数 # 检查本次启动中的错误日志 journalctl -b -p err --no-pager | tail -n 100 # 查询指定时间窗口 journalctl --since \u0026#39;2026-10-13 09:00:00\u0026#39; \\ --until \u0026#39;2026-10-13 10:00:00\u0026#39; --no-pager # 过滤特定服务 journalctl -u nginx -b -n 100 --no-pager 安全意识： history 并不是完整、不可篡改的系统审计记录，也不一定包含所有用户的所有命令；日志需要配合审计配置及访问控制。历史命令里还可能意外包含密码和 Token，截图分享前应检查。\n2. 关机与重启 # 查看当前运行状况 uptime who systemctl --failed # 以下会中断当前业务，非必要不要在生产环境执行 # sudo systemctl reboot # sudo systemctl poweroff clear 只清理终端显示，不会删除命令历史，也不是安全擦除。\n九、把命令组合起来：三个典型排障案例 下面的案例是可复用的排查流程。其中第 3 个案例包含 NativeOpsLab 已经验证的真实结果；前两个为演示思路，不能冒充曾在本实验室实际发生的故障。\n案例 1：CPU 占用高，先确认是“单核满”还是“整机满”（演示） 现象：告警系统提示 CPU 相关指标异常，或者运维人员感觉应用变慢。\nuptime nproc top -b -n 1 | head -n 25 mpstat -P ALL 1 3 pidstat -u 1 3 ps -eo pid,ppid,user,cmd,%cpu,%mem --sort=-%cpu | head -n 15 分析顺序：\n先查看 nproc 和 mpstat -P ALL，判断有多少逻辑 CPU、哪些 CPU 繁忙。 用 pidstat 和 ps 找到持续消耗 CPU 的进程。 配合 vmstat 1 5 看运行队列和等待情况，必要时进一步看磁盘 I/O。 确认是预期计算任务、异常死循环还是资源限制，再制定处置办法。 关键结论： 一个线程占满一个 CPU，并不必然等于整机 CPU 100%；Load Average 也不能直接解释为 CPU 百分比。\n案例 2：df 提示磁盘满，但 du 算不出来（演示） # 先确认哪个文件系统满 df -hT df -i # 限定在目标文件系统内排查目录用量 du -xhd1 /var 2\u0026gt;/dev/null | sort -h # 查看已删除但仍被进程打开的文件（需 lsof） sudo lsof +L1 如果 df 使用率很高，但 du 看不到对应的大文件，原因可能是日志已删除但进程仍持有打开的文件描述符。不要直接删除更多系统文件，也不要未经评估就重启数据库服务。 应先确认持有者、数据性质及安全释放方案。\n案例 3：Kubernetes 集群外访问验证（NativeOpsLab 真实实验） 在 NativeOpsLab 中，Nginx Deployment、Service 和 Ingress 已创建。h11 上观察到：\nNginx Deployment 两个副本就绪； nginx-demo Service ClusterIP：10.100.169.199:80； 后端地址：10.244.1.140:80、10.244.1.231:80； Cilium Ingress 地址：192.168.6.61； Host：demo.nativeopslab.local。 在集群外的 h16 执行：\ncurl http://demo.nativeopslab.local/ 实际成功返回带有 NativeOpsLab 标题的 HTML 页面，说明该 HTTP 请求的端到端验证通过。本次没有真实发生“外部无法访问”的故障。\n以后如果访问失败，可以复用下面的顺序：\n# h16：先验证系统名称解析与路由 getent hosts demo.nativeopslab.local ip route get 192.168.6.61 ip neigh show 192.168.6.61 # h16：绕开 DNS 单独检查 HTTP/Ingress curl -v --connect-timeout 5 --max-time 15 \\ --resolve demo.nativeopslab.local:80:192.168.6.61 \\ http://demo.nativeopslab.local/ # h11：检查 Service/Ingress/Pod 后端关系 kubectl -n demo get pods,svc,ingress -o wide kubectl -n demo get endpointslice \\ -l kubernetes.io/service-name=nginx-demo 这里的 IP 是 NativeOpsLab 的实验地址，其他环境请替换。它体现了一个通用原则：先拆分 DNS、Route/ARP、TCP、Ingress、Service/Pod 等故障边界，避免靠猜测重启网络组件。\n十、生产环境执行前的风险检查 每当操作涉及写入、删除或中断业务时，建议先问自己以下问题：\n目标对吗？ 当前主机、命名空间、路径、服务名和 PID 是否正确？ 影响范围多大？ 是单个测试进程，还是数据库、网关、Kubernetes 节点？ 有没有备份与回滚？ 备份是否可恢复？配置能否撤回？ 能不能先只读检查？ status、describe、--dry-run、rsync -n 等通常优于直接修改。 有没有敏感信息？ 日志、history、tcpdump、终端截图中可能出现 IP、凭证和业务数据。 如何确认恢复？ 不能只看命令退出码，还要执行业务访问与监控验收。 一组值得收藏的“首次登录服务器”巡检命令 hostnamectl cat /etc/os-release uptime free -h df -hT df -i ip -br addr ip route ss -lntup systemctl --failed journalctl -b -p err --no-pager | tail -n 50 这组命令大体以观察为主，适合先建立基线。但仍需注意在高负载或敏感生产环境中控制检查频率和输出的共享范围。\n总结 Linux 运维命令不需要一口气背完。更有效的方法，是把命令放进真实场景里反复使用：\n系统信息： 先看负载、内存、磁盘和时间； 文件管理： 限定路径，避免误删； 权限管理： 先查身份和路径权限，别盲目 777； 进程管理： 先找原因，优先正常退出而不是 kill -9； 网络管理： 把 DNS、路由、ARP、TCP、HTTP 分开定位； 压缩与备份： 生成归档只是第一步，恢复验证才是关键； 软件与服务： 升级、重启和配置变更要有窗口和回滚； 日志运维： 尽量带上服务、时间窗口和错误上下文。 这也是 NativeOpsLab 持续记录 Linux / Kubernetes 实验的方法：现象 → 收集证据 → 定位边界 → 修复 → 验证 → 复盘。\n","permalink":"https://nativeopslab.com/linux-ops-commands-cheatsheet.html/","summary":"\u003cp\u003e在 Linux 运维工作中，命令记得多并不等于排障快。真正重要的是：\u003cstrong\u003e知道什么时候运行哪条命令、该看输出中的什么指标，以及怎样避免把排查操作变成新的故障。\u003c/strong\u003e\u003c/p\u003e\n\u003cp\u003e这篇文章保留八大常见分类，补充现代 Linux 系统里更实用的命令和生产环境注意事项。命令以 \u003cstrong\u003eRocky Linux 9\u003c/strong\u003e 为主要示例，同时说明 Ubuntu/Debian 的差异；涉及故障的演示均明确区分“已验证的实验”和“模拟排查场景”。\u003c/p\u003e\n\u003cblockquote\u003e\n\u003cp\u003e\u003cstrong\u003e使用范围：\u003c/strong\u003e Rocky Linux 9 / RHEL 系、Ubuntu Server 等采用 systemd 的现代 Linux。部分命令依赖额外安装的软件包。\u003cstrong\u003e在生产系统执行停止服务、删除文件、升级软件、修改时间、网络或权限之前，请先评估影响、备份并准备回滚方案。\u003c/strong\u003e\u003c/p\u003e\n\u003c/blockquote\u003e\n\u003ch2 id=\"一系统信息查看命令\"\u003e一、系统信息查看命令\u003c/h2\u003e\n\u003cp\u003e这类命令适合登录服务器后的第一轮巡检：先搞清楚“这是什么机器、什么系统、负载和资源是什么状态”。\u003c/p\u003e\n\u003ch3 id=\"1-系统版本内核与硬件\"\u003e1. 系统版本、内核与硬件\u003c/h3\u003e\n\u003ctable\u003e\n\t\u003cthead\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003cth\u003e命令\u003c/th\u003e\n\t\t\t\t\t\u003cth\u003e作用\u003c/th\u003e\n\t\t\t\t\t\u003cth\u003e重点\u003c/th\u003e\n\t\t\t\u003c/tr\u003e\n\t\u003c/thead\u003e\n\t\u003ctbody\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003euname -a\u003c/code\u003e\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e显示内核、架构等综合信息\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e排查内核/驱动兼容性\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003euname -r\u003c/code\u003e\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e只查看运行中的内核版本\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e与已安装内核区分\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003ecat /etc/os-release\u003c/code\u003e\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e查看发行版与版本\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eRocky / Ubuntu 不同命令路径\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003ehostnamectl\u003c/code\u003e\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e查看主机名、系统与内核\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003esystemd 环境推荐\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003ehostname\u003c/code\u003e\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e当前主机名\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e只读操作\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003elscpu\u003c/code\u003e\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eCPU 架构与逻辑 CPU\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e核心数、虚拟化信息\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003enproc\u003c/code\u003e\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e当前进程可用的处理器数量\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e结合 CPU 配额判断\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003esystemd-detect-virt\u003c/code\u003e\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e判断虚拟化或容器环境\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003eKVM / VMware / container 等\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e\u003ccode\u003ewho\u003c/code\u003e、\u003ccode\u003ew\u003c/code\u003e\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e当前登录用户与活动\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e排查异常会话\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\u003c/tbody\u003e\n\u003c/table\u003e\n\u003cdiv class=\"highlight\"\u003e\u003cpre tabindex=\"0\" style=\"color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;\"\u003e\u003ccode class=\"language-bash\" data-lang=\"bash\"\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003euname -r\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003ecat /etc/os-release\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003ehostnamectl\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003elscpu | head -n \u003cspan style=\"color:#ae81ff\"\u003e30\u003c/span\u003e\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003enproc\n\u003c/span\u003e\u003c/span\u003e\u003c/code\u003e\u003c/pre\u003e\u003c/div\u003e\u003cp\u003e\u003cstrong\u003e主机名修改：\u003c/strong\u003e \u003ccode\u003ehostname newname\u003c/code\u003e 在不少系统上只是临时设置；现代系统优先使用 \u003ccode\u003ehostnamectl set-hostname newname\u003c/code\u003e。在 Kubernetes 节点上修改主机名之前必须评估 kubelet、证书与 Node 身份的影响，不要直接照搬。\u003c/p\u003e","title":"Linux 服务器运维高频命令大全：从日常巡检到故障排查"},{"content":"在 Kubernetes 中部署应用时，我们经常会使用下面的命令检查运行状态：\nkubectl get pods 看到：\nNAME READY STATUS RESTARTS nginx-demo-xxxxxxxxxx-xxxxx 1/1 Running 0 很多人可能会认为：\nPod 已经 Running，服务应该可以访问了。\n但实际上，Pod Running 只能说明 Pod 已经进入运行阶段，并不能保证业务能够正常响应，更不意味着集群外部的客户端能够访问应用。\n一个从 Kubernetes 集群外部发起的 HTTP 请求，可能涉及：\nDNS 域名解析 Linux 路由与 ARP LoadBalancer IP Cilium Ingress / Envoy Kubernetes Service EndpointSlice Pod 网络 应用监听端口 NetworkPolicy 任何一个环节出现问题，都可能导致访问失败。\n最近我在重建 NativeOpsLab Kubernetes 实验室时，部署了一个 Nginx Demo，并使用 Cilium Ingress 将应用发布到局域网。\n这次实验最终成功完成了集群外访问验收。\n本文将结合真实实验结果，记录完整访问过程，并整理一套可以复用的 Kubernetes 网络排查方法。\n实验说明： 本次没有实际发生外部访问失败。文中的故障现象、HTTP 错误码及对应解决思路属于排查参考，真实实验结果以命令输出和截图为准。\n一、实验环境介绍 这次实验运行在 Rocky Linux 9 和 Kubernetes v1.28.15 环境中。\n1.1 Kubernetes 节点规划 节点 IP 地址 角色 h11 192.168.6.11 Control Plane h12 192.168.6.12 Application Worker h13 192.168.6.13 Storage Worker h14 192.168.6.14 NFS Server + Worker h15 192.168.6.15 Observability Worker h16 192.168.6.16 集群外测试客户端 其中 h11～h15 是 Kubernetes 集群节点。\nh16 不加入 Kubernetes，主要承担：\nLinux 故障排查 网络连通性测试 Kubernetes 外部访问验证 压力测试 Chaos 故障实验 这样设计的好处是可以从真实的集群外部视角检查应用，而不是只在 Pod 内执行 curl。\n1.2 主要组件 组件 用途 Kubernetes v1.28.15 容器编排 Cilium CNI 容器网络 Envoy Ingress HTTP 流量代理 MetalLB 实验室中的 LoadBalancer 地址服务 CoreDNS 集群 DNS containerd 容器运行时 Nginx 测试应用 本次部署的 Nginx 应用：\nNamespace : demo Deployment: nginx-demo Replicas : 2 Service : nginx-demo Ingress : nginx-demo Host : demo.nativeopslab.local Ingress IP: 192.168.6.61 需要注意，192.168.6.61 是本次实验实际观察到的 Ingress 地址。其他实验环境需要以自己的查询结果为准。\n二、先理解 Kubernetes 外部访问链路 在动手排查之前，先理解一个 HTTP 请求可能经过哪些组件。\n本次实验的逻辑访问链路：\nh16 外部客户端 192.168.6.16 | | HTTP Request v demo.nativeopslab.local | | 域名解析 v 192.168.6.61 | | LoadBalancer v Cilium Ingress / Envoy | | Host / Path 匹配 v nginx-demo Service 10.100.169.199 | | 后端服务发现 v EndpointSlice | +---------+---------+ | | v v Nginx Pod 1 Nginx Pod 2 10.244.1.140 10.244.1.231 | | +---------+---------+ | v HTTP Response | v h16 客户端 这里有一个容易产生误解的地方：\n上图表示逻辑链路，不代表每个数据包都会依次穿过图中的所有 Kubernetes 对象。\n例如 EndpointSlice 是描述 Service 后端的 API 对象，本身不是数据包转发组件。\nCilium Ingress 使用 Envoy 处理流量，具体转发路径也不能简单等同于传统 kube-proxy 的转发过程。\n但从故障排查角度看，我们仍然需要逐层确认这些配置与后端关系是否正常。\n三、第一步：检查 Deployment 和 Pod 先登录 h11。\n执行：\nkubectl -n demo get deploy,pod -o wide 这次实验中，Nginx Deployment 有两个副本，均处于 Ready 状态。\n后来再次检查时，两个 Pod 的状态如下：\nNAME READY STATUS RESTARTS nginx-demo-6b555d8954-mrr7m 1/1 Running 1 nginx-demo-6b555d8954-ssbzh 1/1 Running 1 两个 Pod 都处于 Running 状态，并且均为 1/1 Ready。\n此前通过 Node Label，Nginx Deployment 被调度到 h12：\nnodeSelector: nativeopslab.io/role: app 这里需要理解三个状态。\n3.1 Running 说明 Pod 已进入运行阶段。\n但并不代表业务一定正常。\n3.2 Ready 说明 Pod 满足配置的就绪条件。\n如果存在 readinessProbe，Kubernetes 会依据探针结果判断 Pod 是否就绪。\n3.3 业务正常 真正的业务可用，还需要通过 HTTP 请求、数据库操作或其他业务接口来验证。\n所以：\nPod Running ≠ Pod Ready ≠ 业务完全正常 ≠ 外部访问正常 3.4 为什么两个 Pod 都有一次重启？ 本次截图中，两个 Pod 的 RESTARTS 都为 1。\n虽然当前应用访问正常，但重启原因不能直接忽略。\n可以检查：\nkubectl -n demo describe pod \\ nginx-demo-6b555d8954-mrr7m 查看上一次容器日志：\nkubectl -n demo logs \\ nginx-demo-6b555d8954-mrr7m \\ --previous 另一个 Pod 同样检查：\nkubectl -n demo describe pod \\ nginx-demo-6b555d8954-ssbzh kubectl -n demo logs \\ nginx-demo-6b555d8954-ssbzh \\ --previous 重点看：\nLast State Reason Exit Code Events 可能的原因包括：\nOOMKilled Liveness Probe 失败 容器进程异常退出 节点或容器运行时发生变化 但本次截图没有提供足够证据判断实际重启原因，不能直接归结为其中一种。\n四、第二步：检查 Kubernetes Service 确认 Pod 正常后，接下来检查 Service。\n执行：\nkubectl -n demo get svc 本次实际结果：\nNAME TYPE CLUSTER-IP PORT(S) nginx-demo ClusterIP 10.100.169.199 80/TCP 这里的地址：\n10.100.169.199 是 Kubernetes 内部的 ClusterIP。\n它主要用于集群内部的服务访问，不能因为存在 ClusterIP 就认为局域网中的 h16 可以直接使用这个地址。\n查看 Service 详细配置：\nkubectl -n demo describe svc nginx-demo 重点检查：\nSelector Port TargetPort Endpoints 本次 Nginx Service 的核心配置如下：\napiVersion: v1 kind: Service metadata: name: nginx-demo namespace: demo spec: selector: app: nginx-demo ports: - port: 80 targetPort: 80 其中：\nselector: app: nginx-demo 非常重要。\nService 通过标签选择对应的后端 Pod。\n如果 Service Selector 和 Pod Label 不匹配，就会出现一个常见问题：\nService 存在，但没有可用后端。\n比如：\n# Service selector: app: nginx-demo 但 Pod 实际是：\n# Pod labels: app: nginx 两者不一致，就无法正常建立预期的后端关联。\n排查命令：\nkubectl -n demo get pods --show-labels kubectl -n demo get svc nginx-demo -o yaml 所以排查 Service 时，不应该只看它有没有 ClusterIP。\n更重要的是确认 Selector 和后端是否正常。\n五、第三步：检查 EndpointSlice 和 Endpoints 这是本次实验中很重要的一步。\n在 h11 执行：\nkubectl -n demo get endpoints 真实输出中的 Nginx 后端为：\nNAME ENDPOINTS nginx-demo 10.244.1.140:80,10.244.1.231:80 这说明当前 Service 的后端地址包括：\n10.244.1.140:80 10.244.1.231:80 这两个地址都是 Pod 网络中的地址。\n5.1 EndpointSlice 是什么？ 现代 Kubernetes 使用 EndpointSlice 表示 Service 的后端网络端点。\n它包含的信息可以包括：\n后端 IP 端口 协议 Endpoint Ready 状态 Endpoint 所在节点 可以通过下面的命令查看：\nkubectl -n demo get endpointslice \\ -l kubernetes.io/service-name=nginx-demo 查看更详细的内容：\nkubectl -n demo describe endpointslice \\ -l kubernetes.io/service-name=nginx-demo 如果 EndpointSlice 里的地址与实际 Pod IP 一致，并且 Ready 状态正常，就说明 Service 后端发现与就绪关系符合预期。\n需要注意：\nEndpointSlice 正常不等于数据包一定可以到达后端。\n例如 NetworkPolicy、CNI 数据面或者应用端口异常，仍然可能造成访问失败。\n它只能帮助我们缩小故障范围。\n5.2 Cilium Ingress 的特殊 Endpoint 本次输出中还存在：\nservice/cilium-ingress-nginx-demo 对应一个 LoadBalancer Service。\n同时可以看到类似：\n192.192.192.192:9999 这样的 Endpoint。\n这与普通 Nginx Service 后面的 Pod IP 不同。\n在 Cilium Ingress 的实现中，可能出现用于代理流量路径的特殊逻辑地址。\n因此，不能仅凭它不是实际 Pod IP 就认定网络异常。\n排查时应分别检查 Cilium Ingress 的代理链路和业务 Service 的后端。\n六、第四步：从 Kubernetes 内部测试 Nginx 如果我们要排查一个外部访问故障，最好先判断：\n集群内部能不能访问 Service？\n这一步可以把问题划分成两类：\n集群内部访问失败 → 优先检查 Pod / Service / DNS / CNI / NetworkPolicy 集群内部访问成功，外部访问失败 → 重点检查 Ingress / LB / DNS / Route / ARP / 防火墙 下面是可以补充执行的验证方法。\n创建测试 Pod：\nkubectl -n demo run curl-client \\ --image=curlimages/curl:8.11.1 \\ --restart=Never \\ --command -- sleep 3600 等待就绪：\nkubectl -n demo wait \\ --for=condition=Ready \\ pod/curl-client \\ --timeout=120s 执行：\nkubectl -n demo exec curl-client -- \\ curl -v http://nginx-demo 或者使用完整 Service 域名：\nkubectl -n demo exec curl-client -- \\ curl -v \\ http://nginx-demo.demo.svc.cluster.local 如果可以获得 HTTP 正常响应，说明当前测试请求能够通过集群内部 Service 访问应用。\n如果访问失败，可以继续检查：\nkubectl -n kube-system get pods kubectl -n demo get networkpolicy kubectl -n demo describe svc nginx-demo 以及对应的 Cilium 状态。\n测试完成后删除临时 Pod：\nkubectl -n demo delete pod curl-client 说明：这是补充排障方法，不属于本次 h11、h16 两张截图已经直接证明的测试结果。\n七、第五步：检查 Cilium Ingress Pod、Service 和后端关系确认后，接下来检查 Ingress。\n执行：\nkubectl -n demo get ingress 本次实验实际输出：\nNAME CLASS HOSTS ADDRESS nginx-demo cilium demo.nativeopslab.local 192.168.6.61 可以确认：\nIngress 名称为 nginx-demo IngressClass 为 cilium Host 为 demo.nativeopslab.local Ingress ADDRESS 为 192.168.6.61 7.1 Ingress 核心配置 apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: nginx-demo namespace: demo spec: ingressClassName: cilium rules: - host: demo.nativeopslab.local http: paths: - path: / pathType: Prefix backend: service: name: nginx-demo port: number: 80 这个配置的含义是：\n当 HTTP 请求匹配：\nHost: demo.nativeopslab.local Path: / 就将请求交给：\nnginx-demo Service Port 80 7.2 为什么不能只 curl Ingress IP？ 假设执行：\ncurl http://192.168.6.61 这个请求默认使用 IP 作为 HTTP Host。\n但 Ingress 配置匹配的是：\ndemo.nativeopslab.local 因此直接访问 IP 可能无法匹配预期的路由。\n更准确的测试方法是：\ncurl -v \\ -H \u0026#39;Host: demo.nativeopslab.local\u0026#39; \\ http://192.168.6.61/ 或者：\ncurl -v \\ --resolve demo.nativeopslab.local:80:192.168.6.61 \\ http://demo.nativeopslab.local/ --resolve 可以为当前 curl 请求指定域名对应的 IP，同时保留正确的 Host。\n这在排查 DNS 和 Ingress 问题时非常有用。\n八、第六步：检查 Cilium Ingress LoadBalancer 本次 Kubernetes 实验环境启用了 Cilium Ingress。\n在查询 Service 时，可以看到：\nNAME TYPE EXTERNAL-IP cilium-ingress-nginx-demo LoadBalancer 192.168.6.61 对应端口：\n80:30754/TCP 443:31580/TCP 这说明对应的 Ingress Service 已取得一个 LoadBalancer 地址。\n但是：\nLoadBalancer 分配了 IP，不代表客户端一定能够访问它。\n还需要确认以下几个方面。\n8.1 地址是否真正可达？ 查看：\nkubectl -n demo get svc \\ cilium-ingress-nginx-demo -o wide 8.2 Cilium 状态是否正常？ kubectl -n kube-system get pods \\ -l k8s-app=cilium -o wide 如果安装了 CLI：\ncilium status 8.3 Envoy 是否正常？ kubectl -n kube-system get pods | grep envoy 根据实际组件部署方式，继续检查相关日志。\n8.4 LoadBalancer IP 由谁负责发布？ 这一点也需要注意。\n虽然实验室同时安装了 MetalLB 和 Cilium，但不能因为 MetalLB 存在，就直接认定某个 Ingress IP 一定由 MetalLB 发布。\n需要结合当前的 IPAddressPool、L2Advertisement、Cilium 的地址通告配置和 Service 实际状态判断。\n如果确认地址由 MetalLB L2 模式负责发布，可以进一步检查：\nkubectl -n metallb-system get pods kubectl -n metallb-system get ipaddresspools kubectl -n metallb-system get l2advertisements 对于二层网络，还要检查 ARP 是否正常。\n九、第七步：从集群外 h16 实际验证 前面的检查大多在 Kubernetes 集群内完成。\n但我们的最终目标是：\n让集群外部的 h16 访问 Nginx。\n这也是整个实验最关键的一步。\n9.1 查看 h16 网络信息 在 h16 执行：\nip -br addr 查看 IP 地址。\n再查看路由：\nip route 进一步检查：\nip route get 192.168.6.61 如果 h16 与 Ingress IP 位于同一二层网络，也可以查看邻居表：\nip neigh show 192.168.6.61 如果看到 INCOMPLETE 或 FAILED，说明当前邻居解析可能存在问题，需要结合网络拓扑和 ARP 抓包继续确认。\n9.2 实际执行 curl 本次我在 h16 上执行：\ncurl demo.nativeopslab.local 实际返回：\n\u0026lt;!DOCTYPE html\u0026gt; \u0026lt;html\u0026gt; \u0026lt;head\u0026gt; \u0026lt;title\u0026gt;NativeOpsLab\u0026lt;/title\u0026gt; \u0026lt;/head\u0026gt; \u0026lt;body\u0026gt; \u0026lt;h1\u0026gt;NativeOpsLab\u0026lt;/h1\u0026gt; \u0026lt;p\u0026gt;Linux / Kubernetes / DevOps / Go\u0026lt;/p\u0026gt; \u0026lt;p\u0026gt;Kubernetes Demo Application\u0026lt;/p\u0026gt; \u0026lt;/body\u0026gt; \u0026lt;/html\u0026gt; 这是本次实验的真实执行结果。\n返回的 HTML 与之前部署的 Nginx ConfigMap 页面一致。\n说明：\nh16 能够解析或映射测试域名。 h16 能够通过当前网络路径发起 HTTP 请求。 请求成功到达能够处理该域名的 HTTP 服务。 Nginx Demo 的预期页面成功返回。 结合之前确认的 Ingress 配置和 Service 后端关系，可以判断：\n本次 Nginx Demo 的集群外 HTTP 访问链路已经打通。\n9.3 再补充 HTTP 状态码验证 此前截图已经证明 HTML 返回成功，但没有直接显示状态码。\n为了以后博客截图更加规范，建议增加：\ncurl -sS -o /dev/null \\ -w \u0026#39;HTTP Status: %{http_code}\\nRemote IP: %{remote_ip}\\n\u0026#39; \\ http://demo.nativeopslab.local/ 也可以执行：\ncurl -I http://demo.nativeopslab.local/ 对于正常响应的 Nginx 页面，预期得到：\nHTTP/1.1 200 OK 注意：HTTP 200 是预期结果，原始截图已经确认页面内容返回，但本文不把没有展示的状态码冒充为已记录的真实输出。\n十、如果 h16 无法访问，应该怎么排查？ 虽然本次实验最终访问成功，但真正有价值的是建立一套以后可以复用的排障流程。\n建议先根据错误现象分类。\n10.1 域名无法解析 可能出现：\ncurl: (6) Could not resolve host 首先检查：\ngetent hosts demo.nativeopslab.local 查看本地 hosts：\ngrep demo.nativeopslab.local /etc/hosts 如果使用本地 hosts 映射，需要确认类似：\n192.168.6.61 demo.nativeopslab.local 也可以完全跳过 DNS 验证：\ncurl -v \\ --resolve demo.nativeopslab.local:80:192.168.6.61 \\ http://demo.nativeopslab.local/ 如果 --resolve 成功，而普通域名访问失败，就应该优先排查域名解析环节。\n10.2 Connection timed out 例如：\ncurl: (28) Connection timed out 优先检查：\nip route get 192.168.6.61 ip neigh show 192.168.6.61 还可以从 h16 抓包：\ntcpdump -ni \u0026lt;实际网卡名\u0026gt; \\ \u0026#39;arp or host 192.168.6.61\u0026#39; 观察：\n是否发送 ARP Request 是否收到 ARP Reply 是否发送 TCP SYN 是否收到 TCP SYN-ACK 是否存在重复重传 如果 ARP 都没有正常解析，就没有必要一开始就检查 Nginx 的 HTML 内容。\n应该先解决底层连通性问题。\n10.3 Connection refused 例如：\ncurl: (7) Failed to connect 需要重点检查：\nIP 是否正确 目标端口是否监听 LoadBalancer 数据面是否正常 防火墙是否拒绝连接 是否访问了错误的端口 Connection refused 说明连接请求遭到拒绝，但具体拒绝点还需要结合抓包与网络配置判断。\n10.4 HTTP 404 假设访问返回：\nHTTP/1.1 404 Not Found 重点检查：\nkubectl -n demo describe ingress nginx-demo 包括：\nHost 是否匹配 Path 是否正确 IngressClass 是否正确 是否访问了预期的 HTTP 服务 但要注意，404 也可能来自后端 Nginx 或业务程序，不一定就是 Ingress 产生的。\n10.5 HTTP 502 / 503 如果出现：\n502 Bad Gateway 或者：\n503 Service Unavailable 可以检查：\nkubectl -n demo get pods -o wide kubectl -n demo get endpointslice \\ -l kubernetes.io/service-name=nginx-demo kubectl -n demo describe svc nginx-demo 以及：\nkubectl -n demo logs \\ -l app=nginx-demo \\ --tail=100 继续结合 Envoy 日志和 Hubble 观察后端连接情况。\n常见排查方向包括：\nService 没有可用后端 Pod 没有 Ready TargetPort 错误 后端监听异常 代理与后端协议不匹配 NetworkPolicy 拒绝流量 不能只凭一个 HTTP 状态码就认定根因。\n十一、NetworkPolicy 也可能导致服务访问失败 如果 Kubernetes 中使用了 NetworkPolicy，即使 Pod Running、Service 和 Ingress 都正常，流量也可能被策略拒绝。\n查看：\nkubectl -n demo get networkpolicy 如果使用 CiliumNetworkPolicy：\nkubectl -n demo get ciliumnetworkpolicy 重点确认 Ingress 到应用 Pod 的实际流量是否允许。\n如果有 Hubble，可以通过可视化界面或者 CLI 观察通信。\n例如：\nhubble observe --namespace demo 检查是否存在被拒绝的流量。\n不过需要注意：\n不要因为访问失败，就直接删除所有 NetworkPolicy。\n这可能扩大安全暴露范围，而且不能证明根本原因。\n更好的方法是：\n观察被拒绝的流量 ↓ 确定源和目标 ↓ 找到匹配的策略 ↓ 修改最小必要规则 ↓ 重新验证 十二、整理一套 Kubernetes 网络排查顺序 通过这次实验，我认为排查 Kubernetes 外部访问问题时，最重要的不是记住某一条命令，而是先确定故障发生在哪一段。\n我将排查流程整理如下：\n外部访问失败 | v 检查域名解析 | v 检查客户端 Route / ARP | v 检查目标 IP / TCP 端口 | v 检查 LoadBalancer 地址与发布方式 | v 检查 Ingress Host / Path | v 检查 Service Selector / Port | v 检查 EndpointSlice / Ready | v 检查 Pod / 应用监听 | v 结合 Cilium / Envoy / Hubble 与 NetworkPolicy 日志进一步定位 这不是规定所有故障都必须从上到下执行。\n例如，如果 curl 已经返回 HTTP 404，说明请求至少到达了某个 HTTP 服务，下一步通常应优先检查 Host、Path 和路由，而不是重复检查所有基础 IP 配置。\n如果连目标 IP 的 ARP 都解析失败，则应优先排查底层网络。\n根据现象定位故障边界，比看到访问失败就重启组件更加有效。\n十三、本次真实实验最终验收 截至本次记录，NativeOpsLab 的 Nginx Demo 已完成以下检查：\n验收项目 实验结果 Deployment 2/2 Ready 通过 两个 Pod Running 通过 Service ClusterIP 正常 通过 Endpoint 关联两个 Pod 通过 Cilium Ingress 创建成功 通过 Ingress ADDRESS 为 192.168.6.61 通过 h16 通过域名访问 Nginx 通过 返回预期 NativeOpsLab HTML 通过 HTTP 状态码独立截图 通过 本次真实访问链路可以概括为：\nh16 | | curl demo.nativeopslab.local | v 192.168.6.61 | v Cilium Ingress / Envoy | v nginx-demo Service | v Nginx 后端 Pod | v NativeOpsLab HTML 因此，NativeOpsLab 实验室建设 Step 03：标准 Demo App + 集群外访问验证，正式完成。\n十四、总结：Pod Running 不是服务验收的终点 通过这次 Kubernetes 实验，我总结了五点。\n第一，Pod Running 不等于应用一定可以访问。\n需要区分 Pod 运行、就绪和业务实际响应。\n第二，Service 创建成功不代表拥有正确后端。\n需要检查 Selector、EndpointSlice 和后端就绪状态。\n第三，Ingress 获得 External IP，不代表集群外部一定能够访问。\n还需要检查域名、路由、地址可达性与 HTTP 路由规则。\n第四，网络故障应该通过分层验证定位，而不是靠猜。\nDNS、ARP、TCP、Ingress、Service 和 Pod 分别属于不同的检查范围。\n第五，完整的 Kubernetes 服务验收，应该包含真实客户端的端到端访问。\n这次我从集群外的 h16 成功获取到 Nginx 页面，才正式将 Demo App 的外部访问标记为完成。\n对运维人员来说，真正需要掌握的不只是：\nkubectl get pods 而是能够解释：\n当一个客户端访问 Kubernetes 中的应用时，请求是如何进入集群、如何找到后端，以及当某个环节出现问题时，应该从哪里开始排查。\n这也是我建设 NativeOpsLab 的目的。\n不是单纯把组件安装起来。\n而是建立一套能够重复实验、观察、排查、修复并留下技术记录的云原生环境。\n","permalink":"https://nativeopslab.com/kubernetes-pod-running-external-access.html/","summary":"\u003cp\u003e在 Kubernetes 中部署应用时，我们经常会使用下面的命令检查运行状态：\u003c/p\u003e\n\u003cdiv class=\"highlight\"\u003e\u003cpre tabindex=\"0\" style=\"color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;\"\u003e\u003ccode class=\"language-bash\" data-lang=\"bash\"\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003ekubectl get pods\n\u003c/span\u003e\u003c/span\u003e\u003c/code\u003e\u003c/pre\u003e\u003c/div\u003e\u003cp\u003e看到：\u003c/p\u003e\n\u003cdiv class=\"highlight\"\u003e\u003cpre tabindex=\"0\" style=\"color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;\"\u003e\u003ccode class=\"language-text\" data-lang=\"text\"\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003eNAME                         READY   STATUS    RESTARTS\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003enginx-demo-xxxxxxxxxx-xxxxx  1/1     Running   0\n\u003c/span\u003e\u003c/span\u003e\u003c/code\u003e\u003c/pre\u003e\u003c/div\u003e\u003cp\u003e很多人可能会认为：\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003ePod 已经 Running，服务应该可以访问了。\u003c/strong\u003e\u003c/p\u003e\n\u003cp\u003e但实际上，Pod Running 只能说明 Pod 已经进入运行阶段，并不能保证业务能够正常响应，更不意味着集群外部的客户端能够访问应用。\u003c/p\u003e\n\u003cp\u003e一个从 Kubernetes 集群外部发起的 HTTP 请求，可能涉及：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eDNS 域名解析\u003c/li\u003e\n\u003cli\u003eLinux 路由与 ARP\u003c/li\u003e\n\u003cli\u003eLoadBalancer IP\u003c/li\u003e\n\u003cli\u003eCilium Ingress / Envoy\u003c/li\u003e\n\u003cli\u003eKubernetes Service\u003c/li\u003e\n\u003cli\u003eEndpointSlice\u003c/li\u003e\n\u003cli\u003ePod 网络\u003c/li\u003e\n\u003cli\u003e应用监听端口\u003c/li\u003e\n\u003cli\u003eNetworkPolicy\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003e任何一个环节出现问题，都可能导致访问失败。\u003c/p\u003e\n\u003cp\u003e最近我在重建 \u003cstrong\u003eNativeOpsLab Kubernetes 实验室\u003c/strong\u003e时，部署了一个 Nginx Demo，并使用 Cilium Ingress 将应用发布到局域网。\u003c/p\u003e\n\u003cp\u003e这次实验最终成功完成了集群外访问验收。\u003c/p\u003e\n\u003cp\u003e本文将结合真实实验结果，记录完整访问过程，并整理一套可以复用的 Kubernetes 网络排查方法。\u003c/p\u003e\n\u003cblockquote\u003e\n\u003cp\u003e\u003cstrong\u003e实验说明：\u003c/strong\u003e 本次没有实际发生外部访问失败。文中的故障现象、HTTP 错误码及对应解决思路属于排查参考，真实实验结果以命令输出和截图为准。\u003c/p\u003e\n\u003c/blockquote\u003e\n\u003chr\u003e\n\u003ch2 id=\"一实验环境介绍\"\u003e一、实验环境介绍\u003c/h2\u003e\n\u003cp\u003e这次实验运行在 Rocky Linux 9 和 Kubernetes v1.28.15 环境中。\u003c/p\u003e","title":"Kubernetes Pod Running，却无法从集群外访问？完整排查流程"},{"content":"做运维时，经常遇到这样的需求：\n每天凌晨自动重启 Tomcat、Nginx 等服务 定时重启测试机或实验环境 使用脚本执行定期维护任务 不同操作系统如何统一管理计划任务？ 其实，Windows 和 Linux 都有自带的任务调度工具，不需要额外安装软件。\n01. Windows：任务计划程序 Windows 可以通过 Task Scheduler（任务计划程序）实现。\n① 每天凌晨 2 点重启 Tomcat 服务\n创建 restart_service.bat：\n@echo off net stop Tomcat net start Tomcat 注意：Tomcat 必须替换为实际的 Windows 服务名称。\n打开任务计划程序：\n创建任务 → 触发器 → 每天 02:00 → 操作 → 启动程序\n选择刚创建的批处理文件，并设置具有服务管理权限的账户，必要时勾选“使用最高权限运行”。\n② 每天凌晨 3 点重启 Windows\n同样创建计划任务：\n程序：shutdown.exe 参数：/r /t 0 其中：\n/r：重启计算机 /t 0：不等待，立即执行 保存后，Windows 就会按照计划执行重启。\n02. Linux：使用 Crontab 在 Rocky Linux、Ubuntu 等 Linux 发行版中，可以通过 Cron 管理定时任务。\n① 每天凌晨 2 点重启服务\n例如 Ubuntu 的 Apache：\nsudo crontab -e 添加：\n0 2 * * * /usr/bin/systemctl restart apache2 如果使用 Rocky Linux 9 上的 Nginx：\n0 2 * * * /usr/bin/systemctl restart nginx ② 每天凌晨 3 点重启 Linux\n同样编辑 root 的 Crontab：\nsudo crontab -e 添加：\n0 3 * * * /usr/bin/systemctl reboot 查看任务：\nsudo crontab -l 检查 Cron 服务：\n# Rocky Linux systemctl status crond # Ubuntu systemctl status cron Cron 表达式怎么理解？\n┌──── 分钟 (0-59) │ ┌── 小时 (0-23) │ │ ┌─ 日期 (1-31) │ │ │ ┌ 月份 (1-12) │ │ │ │ ┌ 星期 (0-7) │ │ │ │ │ 0 3 * * * 意思就是：每天凌晨 3 点执行一次。\n03. 生产环境需要注意什么？ 虽然定时重启很方便，但也要避免把它当成万能解决方案。\n尤其是 Kubernetes、数据库和业务服务器：\n服务频繁出问题，不应该只靠每天重启来掩盖故障。\n更合理的处理方式是：\n排查服务异常的根因，例如内存泄漏、连接耗尽或磁盘 I/O。 重启前确认是否存在数据库事务、正在执行的任务。 设置合理的维护窗口，并记录执行日志。 对关键业务优先使用健康检查、自动恢复和高可用机制。 对于 Linux 服务，进一步还可以使用 systemd Timer 管理定时任务，比单纯的 Cron 更方便与 systemd 服务状态、日志关联。\n总结 Windows 主要使用 Task Scheduler。\nLinux 主要使用 Cron / systemd Timer。\n这两个基础工具虽然简单，却是系统运维自动化的重要组成部分。\n自动化的目的不是定期掩盖问题，而是减少重复操作，让维护变得可控。\n","permalink":"https://nativeopslab.com/crontab.html/","summary":"\u003cp\u003e做运维时，经常遇到这样的需求：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e每天凌晨自动重启 Tomcat、Nginx 等服务\u003c/li\u003e\n\u003cli\u003e定时重启测试机或实验环境\u003c/li\u003e\n\u003cli\u003e使用脚本执行定期维护任务\u003c/li\u003e\n\u003cli\u003e不同操作系统如何统一管理计划任务？\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003e其实，Windows 和 Linux 都有自带的任务调度工具，不需要额外安装软件。\u003c/p\u003e\n\u003ch2 id=\"01-windows任务计划程序\"\u003e01. Windows：任务计划程序\u003c/h2\u003e\n\u003cp\u003eWindows 可以通过 Task Scheduler（任务计划程序）实现。\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003e① 每天凌晨 2 点重启 Tomcat 服务\u003c/strong\u003e\u003c/p\u003e\n\u003cp\u003e创建 \u003ccode\u003erestart_service.bat\u003c/code\u003e：\u003c/p\u003e\n\u003cdiv class=\"highlight\"\u003e\u003cpre tabindex=\"0\" style=\"color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;\"\u003e\u003ccode class=\"language-bat\" data-lang=\"bat\"\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e@\u003cspan style=\"color:#66d9ef\"\u003eecho\u003c/span\u003e off\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003enet stop Tomcat\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003enet start Tomcat\n\u003c/span\u003e\u003c/span\u003e\u003c/code\u003e\u003c/pre\u003e\u003c/div\u003e\u003cp\u003e注意：\u003ccode\u003eTomcat\u003c/code\u003e 必须替换为实际的 Windows 服务名称。\u003c/p\u003e\n\u003cp\u003e打开任务计划程序：\u003c/p\u003e\n\u003cp\u003e\u003ccode\u003e创建任务 → 触发器 → 每天 02:00 → 操作 → 启动程序\u003c/code\u003e\u003c/p\u003e\n\u003cp\u003e选择刚创建的批处理文件，并设置具有服务管理权限的账户，必要时勾选“使用最高权限运行”。\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003e② 每天凌晨 3 点重启 Windows\u003c/strong\u003e\u003c/p\u003e\n\u003cp\u003e同样创建计划任务：\u003c/p\u003e\n\u003cdiv class=\"highlight\"\u003e\u003cpre tabindex=\"0\" style=\"color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;\"\u003e\u003ccode class=\"language-text\" data-lang=\"text\"\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e程序：shutdown.exe\n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e参数：/r /t 0\n\u003c/span\u003e\u003c/span\u003e\u003c/code\u003e\u003c/pre\u003e\u003c/div\u003e\u003cp\u003e其中：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\u003ccode\u003e/r\u003c/code\u003e：重启计算机\u003c/li\u003e\n\u003cli\u003e\u003ccode\u003e/t 0\u003c/code\u003e：不等待，立即执行\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003e保存后，Windows 就会按照计划执行重启。\u003c/p\u003e\n\u003ch2 id=\"02-linux使用-crontab\"\u003e02. Linux：使用 Crontab\u003c/h2\u003e\n\u003cp\u003e在 Rocky Linux、Ubuntu 等 Linux 发行版中，可以通过 Cron 管理定时任务。\u003c/p\u003e","title":"Windows / Linux 定时任务实战：每天自动重启服务和系统"},{"content":"之前为了学习 Linux、Kubernetes、DevOps，我折腾过不少虚拟机。\n但虚拟机越开越多，就会遇到一个问题：\n有没有办法用一台自己的小主机，长期运行一套完整的 Linux 实验环境？\n我的选择是： 迷你主机 + Rocky Linux 9 + KVM。\n不需要购买昂贵的服务器，也不用每次做实验都申请云服务器。\n从 Linux 系统管理，到 Kubernetes 集群，再到 Jenkins、GitLab、Harbor、Argo CD，都可以在自己的局域网里逐步搭建。\n这篇记录一下我的实际环境，以及从零部署的关键步骤。\n01. 先看看这台迷你主机的配置 宿主机名是 ATK。我刚在机器上重新执行了 lscpu、free -h、virsh list --all，下面这些不是示意配置，而是实际截图。\nCPU：Intel Core i5-12500H，12 核 / 16 线程 内存：64 GB 级别，Linux 显示总量约 62 GiB 系统：Rocky Linux 9（此前安装环境记录；本组截图未直接显示发行版版本） 虚拟化：KVM / QEMU / libvirt 网络：Linux Bridge br0（此前实验环境采用的网络模式） 管理：SSH + virsh 这也说明一个常见细节：商家说的“64 GB 内存”，系统工具可能显示为约 62 GiB，并不意味着少装了内存；具体受 GB/GiB 单位、硬件保留和系统统计影响。当前 Swap 为 0B，做较重的多虚拟机实验时要特别留意内存压力。\n02. 为什么选 Rocky Linux 9 + KVM？ KVM 是 Linux 原生的虚拟化能力，QEMU 负责虚拟机设备模拟，libvirt 提供统一的管理接口，virsh 是我最常用的命令行管理工具。\nIntel i5-12500H 迷你主机 │ Rocky Linux 9 │ KVM + QEMU + libvirt │ br0 ┌───┼───┬───┐ VM11 VM12 VM13 ... 它适合我的原因很简单：不用为了多建几台 Linux 虚拟机，每次都重装或重开一台物理机。还能练到桥接网络、磁盘、系统服务、模板克隆和故障排查。\n03. 安装 Rocky Linux 9 从 Rocky Linux 官网 下载 Rocky Linux 9 的 Minimal ISO，用 Ventoy 或 Rufus 写入 U 盘。\n进入 BIOS 打开硬件虚拟化（Intel VT-x），选择 Minimal Install，通过有线网络接入局域网，完成安装后执行：\ncat /etc/rocky-release sudo dnf update -y sudo reboot 重启后确认 CPU 虚拟化能力：\nlscpu | grep -E \u0026#39;Model name|Virtualization|CPU\\(s\\)\u0026#39; grep -m1 -o \u0026#39;vmx\u0026#39; /proc/cpuinfo 注意：这里的 vmx 用于检查 Intel CPU 虚拟化标志；如果查不到，检查 BIOS 开关。我的真实截图显示 i5-12500H，但没有展示 vmx 行，因此不把截图当成虚拟化标志的直接验证。\n04. 安装 KVM / QEMU / libvirt sudo dnf install -y \\ qemu-kvm libvirt virt-install \\ virt-manager virt-viewer virt-top \\ guestfs-tools bridge-utils sudo systemctl enable --now libvirtd 检查服务和内核模块：\nsystemctl status libvirtd --no-pager lsmod | grep kvm virt-host-validate virsh -c qemu:///system list --all 如果是纯 SSH 管理，virt-manager 并非必需；也可以只安装命令行工具。Rocky Linux 9 可参考 Rocky 官方 libvirt 指南。\n05. 创建 br0 桥接网络 我希望每台 VM 都在家庭局域网里有自己的 IP，让电脑直接 SSH 连接，而不是全部躲在默认 NAT 后面。此前的实验网段规划是 192.168.6.0/24，宿主机地址使用过 192.168.6.50。\n注意：下列 IP、网关和网卡名是之前实验的示例配置，请先用 ip addr、ip route、nmcli 对照当前宿主机；本次四张截图没有确认当前 br0 的 IP。桥接会短暂中断网络，最好坐在机器前或使用带外管理操作。\n先查真实网卡与 NetworkManager 连接名：\nnmcli device status nmcli connection show ip -br addr ip route 假设物理网卡为 enp1s0，原有 NetworkManager 连接名为 Wired connection 1，先备份当前连接：\nsudo mkdir -p /root/nm-backup sudo cp -a /etc/NetworkManager/system-connections/. /root/nm-backup/ 配置桥接（需先替换为实际名称）：\nsudo nmcli con add type bridge con-name br0 ifname br0 sudo nmcli con mod br0 \\ ipv4.method manual \\ ipv4.addresses 192.168.6.50/24 \\ ipv4.gateway 192.168.6.1 \\ ipv4.dns 192.168.6.1 \\ connection.autoconnect-ports 1 # 把已有的物理网卡连接加入 br0 sudo nmcli con mod \u0026#39;Wired connection 1\u0026#39; \\ controller br0 \\ port-type bridge # 这一步可能切断 SSH，请在本地控制台操作 sudo nmcli con up br0 sudo nmcli con up \u0026#39;Wired connection 1\u0026#39; 成功以后，宿主机 IP 应在 br0 上，物理网卡作为 bridge port：\nip -br addr show br0 bridge link ip route ping -c 3 192.168.6.1 关键理解：VM 要接入家里同一网段，使用的应该是 br0；默认 virbr0 通常是 libvirt 的 NAT 虚拟网络，不是这里的桥接网络。\n06. 安装第一台 Rocky Linux VM 将 Rocky Linux 9 ISO 放到 /var/lib/libvirt/iso，下面的 ISO 文件名仅为占位示例：\nsudo mkdir -p /var/lib/libvirt/iso sudo virt-install \\ --name template-vm \\ --memory 2048 \\ --vcpus 2 \\ --disk path=/var/lib/libvirt/images/template-vm.qcow2,size=30,format=qcow2,bus=virtio \\ --os-variant rocky9 \\ --network bridge=br0,model=virtio \\ --location /var/lib/libvirt/iso/Rocky-9.x-x86_64-minimal.iso \\ --graphics none \\ --console pty,target_type=serial \\ --extra-args \u0026#39;inst.text console=ttyS0,115200n8\u0026#39; 如果本机 osinfo-query os 中没有 rocky9，先查询实际支持的 OS ID，再替换 --os-variant。如果 ISO 不支持 --location 所需的安装树识别，可以改为使用图形安装或指定合适的 kernel/initrd。\n创建好后：\nvirsh list --all virsh console template-vm 07. 制作模板，批量克隆 模板安装好 SSH、必要工具和基本系统配置后，关机，再克隆：\nvirsh shutdown template-vm virsh domstate template-vm # 必须确认 shut off virt-clone \\ --original template-vm \\ --name 11 \\ --file /var/lib/libvirt/images/11.qcow2 这里专门保留我的真实命名习惯： 当前 virsh 看到的虚拟机名称是 11、12、13、14、15，不是 h11。虚拟机操作系统内部的主机名才是 h11、h12 等。\n克隆后的每台虚拟机需要检查主机名、IP、MAC、machine-id、SSH Host Key，避免模板遗留的机器身份重复。尤其要在首次并行开机前处理重复的静态 IP。\n下面是当前 KVM 的真实管理结果：\n这说明宿主机已定义至少 5 台虚拟机，截图时只有 11 处于 running 状态。\n08. 从 Windows 验证 VM 可以远程连接 在 Windows 的 Xshell 中直接连接 192.168.6.11:22：\n可以看到：\nConnecting to 192.168.6.11:22... Connection established. [root@h11 ~]# 这至少验证了：我的 Windows 电脑能够直接通过局域网 IP SSH 登录到这台 Rocky Linux VM。截图中的 X11 forwarding request rejected 是 X11 图形转发请求被拒，通常不影响普通 SSH 命令行操作。\n09. 常用 virsh 管理命令 virsh list --all # 全部虚拟机 virsh start 11 # 启动 VM11 virsh shutdown 11 # 正常关机 virsh dominfo 11 # 查看配置 virsh domiflist 11 # 查看网卡 virsh domblklist 11 # 查看磁盘 virsh autostart 11 # 宿主机开机后自动启动 注意：virsh destroy 11 相当于强制断电，不是正常关机，除非故障处置需要，否则优先使用 shutdown。\n10. 最后：HomeLab 是长期项目 这套 KVM 环境后来支撑了我的 Kubernetes / DevOps 实验：Kubernetes 多节点、Cilium、MetalLB、OpenEBS、Prometheus、Jenkins、GitLab、Harbor、Argo CD 等。\n但搭建只是第一步。迷你主机的 CPU、内存和磁盘是共享资源，资源规划要考虑虚拟机实际负载。当前截图中的 Swap: 0B 也提醒我：不要把可用内存全部分给 VM，需要留下宿主机的余量。\n对我来说，HomeLab 最大的价值不是跑了多少虚拟机，而是能反复练习：部署、配置、自动化、监控、故障与恢复。\n","permalink":"https://nativeopslab.com/rocky9-kvm.html/","summary":"\u003cp\u003e之前为了学习 Linux、Kubernetes、DevOps，我折腾过不少虚拟机。\u003c/p\u003e\n\u003cp\u003e但虚拟机越开越多，就会遇到一个问题：\u003c/p\u003e\n\u003cp\u003e有没有办法用一台自己的小主机，长期运行一套完整的 Linux 实验环境？\u003c/p\u003e\n\u003cp\u003e我的选择是：\n迷你主机 + Rocky Linux 9 + KVM。\u003c/p\u003e\n\u003cp\u003e不需要购买昂贵的服务器，也不用每次做实验都申请云服务器。\u003c/p\u003e\n\u003cp\u003e从 Linux 系统管理，到 Kubernetes 集群，再到 Jenkins、GitLab、Harbor、Argo CD，都可以在自己的局域网里逐步搭建。\u003c/p\u003e\n\u003cp\u003e这篇记录一下我的实际环境，以及从零部署的关键步骤。\u003c/p\u003e\n\u003ch2 id=\"01-先看看这台迷你主机的配置\"\u003e01. 先看看这台迷你主机的配置\u003c/h2\u003e\n\u003cp\u003e宿主机名是 \u003ccode\u003eATK\u003c/code\u003e。我刚在机器上重新执行了 \u003ccode\u003elscpu\u003c/code\u003e、\u003ccode\u003efree -h\u003c/code\u003e、\u003ccode\u003evirsh list --all\u003c/code\u003e，下面这些不是示意配置，而是实际截图。\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\u003cstrong\u003eCPU：Intel Core i5-12500H\u003c/strong\u003e，12 核 / 16 线程\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e内存：64 GB 级别\u003c/strong\u003e，Linux 显示总量约 \u003ccode\u003e62 GiB\u003c/code\u003e\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e系统：Rocky Linux 9\u003c/strong\u003e（此前安装环境记录；本组截图未直接显示发行版版本）\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e虚拟化：KVM / QEMU / libvirt\u003c/strong\u003e\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e网络：Linux Bridge \u003ccode\u003ebr0\u003c/code\u003e\u003c/strong\u003e（此前实验环境采用的网络模式）\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e管理：SSH + virsh\u003c/strong\u003e\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003e\u003cimg alt=\"真实截图：lscpu 显示 Intel Core i5-12500H、12 核、16 个逻辑 CPU\" loading=\"lazy\" src=\"/uploads/01-cpu-i5-12500h.png\"\u003e\u003c/p\u003e\n\u003cp\u003e\u003cimg alt=\"真实截图：free -h 显示内存 62 GiB、Swap 0B\" loading=\"lazy\" src=\"/uploads/02-memory-64gb.png\"\u003e\u003c/p\u003e","title":"一台迷你主机，搭建自己的 Linux 虚拟化实验室：Rocky Linux 9 + KVM 实战"},{"content":"一台虚拟机开机，电脑突然很多网站都访问不了；把虚拟机关掉，访问又恢复正常。\n这是我在 Kubernetes 实验环境里遇到过的一次真实故障。第一反应很自然：Cilium 出问题了？MetalLB 抢了地址？DNS 不正常？还是新节点加入集群时配置有误？\n最终，让问题消失的操作很简单：把 Windows 宿主机从 Wi-Fi 改为网线连接。\n但这篇文章想记录的，不只是“插网线就好了”，而是如何从开关机现象，逐步找到 ARP、VIP 宣告节点和宿主机桥接链路之间的联系。\n标题里的“整个网络都出问题了”，描述的是当时的使用感受。已有记录能确认的是电脑出现多站点访问异常，不能据此断言整个局域网或所有公网连接都中断。\n1. 环境：同一个网段，两种虚拟化链路 当时的集群不是由完全相同的机器组成的。\n| 项目 | 环境 | ------------ | ------------------------------ | h11–h23 | Rocky Linux 9 宿主环境上的 KVM 虚拟机 | h25 | Windows 宿主机上的 VMware Linux 虚拟机 | 局域网 | 192.168.6.0/24 | h11 地址 | 192.168.6.11 | h25 地址 | 192.168.6.25 | 网关 | 192.168.6.1 | 集群网络组件 | Cilium | 外部服务地址宣告 | MetalLB，Layer 2 模式 | h25 宿主机原接入方式 | Wi-Fi，VMware 桥接到无线网卡 h25 是 Windows 上运行的 Linux VM，不是 Windows Kubernetes 节点。后续截图里，h25 已经是 Ready，显示 Kubernetes v1.28.15。\n因此，这次故障更准确的说法是：新 VM 接入集群后引发访问异常，而不是 kubeadm join 一直没有成功。\n“都在 192.168.6.0/24”只是地址配置相同，不能证明两种虚拟化链路的二层转发行为完全一致。\n2. 最有价值的起点：故障与 h25 的开关机相关 当时的现象是：\nh25 开机后，电脑很多网站无法访问。 h25 关闭后，访问恢复正常。 这组对比让我先把范围缩小到 h25 及其接入链路。\n但它还不能直接证明是 h25 上的某一个组件出错。开机意味着很多事情同时发生：虚拟网卡接入、节点组件启动、网络状态变化，以及 MetalLB speaker 可能参与 VIP 宣告。\n如果一上来就重装 Cilium、修改 DNS、重启所有网络组件，很容易丢失现场，也无法知道究竟哪个操作起了作用。\n我需要先回答：h25 开机后，网络中究竟发生了什么变化？\n3. ARP 对比：同一个 IP，两处看到的 MAC 不一样 排查时，h25 的地址配置是：\nIP：192.168.6.25/24 网卡：eth0 MAC：00:0c:29:xx:xx:xx 在另一台节点 h11 上查看 ARP 表，却看到了：\n192.168.6.25 → 28:cf:e9:xx:xx:xx 关键对比如下：\n| 观察位置 | 对象 | 看到的 MAC | | ------------- | ------------ | ----------------- | | h25 的 ip addr | 自己的 eth0 | 00:0c:29:xx:xx:xx | | h11 的 arp -n | 192.168.6.25 | 28:cf:e9:xx:xx:xx | 12:06 的截图中，h11 已能 ping 通 h25，两次探测没有丢包，但 ARP 对应的仍是后面这个 MAC。\n历史排查记录中也曾出现针对 .25 的 incomplete 状态。需要注意截图所在的机器和采集时间：12:11 的 h25 截图里，它自己的 ARP 表也出现了 .25 的 incomplete 项，不能把所有 incomplete 都解释成“h11 始终无法访问 h25”。\n一次 ARP 快照只代表某个时刻、某个观察点的状态。\nMAC 不一致是一条值得调查的线索，但它本身并不能直接证明 IP 冲突。虚拟化桥接、中间设备代理或地址转换行为，都需要进一步核对。仅凭这两张图，也无法确认 28:cf:e9:03:57:85 究竟属于哪一块物理网卡。\n这时，排查重点开始从集群组件扩大到宿主机和二层网络。\n4. 为什么一台工作节点会影响集群入口？ 另一个关键线索来自 MetalLB。\n历史对话记录显示，cilium-ingress 的 VIP：\n192.168.6.60 曾由 h25 宣告，之后转到了 h20。\n这里要理解 Layer 2 模式的基本工作方式：对于一个 VIP，MetalLB 会选出节点，由该节点回应相应的 ARP 请求，让局域网客户端把发往 VIP 的流量送到它。[1]\n这意味着，h25 即使只是后来加入的工作节点，也可能成为某个服务的外部流量入口。\n因此，问题不能只问“h25 自己能不能联网”，还要问：\n当入口 VIP 由 h25 宣告时，外部客户端能不能通过 Windows、VMware 和物理网卡这段链路正确到达它？\n一个容易忽略的区别是：\n| 检查结果 | 能说明什么 | 不能证明什么 | | ----------------------- | ---------------- | ------------------------------ | | h25 是 Ready | 节点状态满足相关就绪条件 | 所有外部服务链路都正常 | | 能 ping 通 h25 的节点 IP | 该时刻的节点 ICMP 路径可用 | LoadBalancer VIP 的 ARP 与业务访问正常 | | Service 已分配 EXTERNAL-IP | 地址已分配 | 局域网客户端能访问该地址 | | VIP 的 ARP 有回应 | 该观察点能获得二层响应 | TCP、TLS、HTTP 和后端应用全部正常 | MetalLB 参与 VIP 宣告，是这次排查中的重要事实；但它本身不足以解释所有“公网网站打不开”的现象。要把每个失败网站都归因于同一机制，还需要对应的 DNS、路由和抓包记录。\n5. 排查中的隔离措施：先不让 h25 宣告 VIP 为了缩小影响范围，当时给 h25 添加了这个标签：\nkubectl label node h25 \\ node.kubernetes.io/exclude-from-external-load-balancers=true \\ --overwrite 随后检查：\nkubectl get node h25 --show-labels kubectl describe svc cilium-ingress -n kube-system 这个操作的目的是让 h25 退出外部负载均衡宣告候选范围，不是把它移出 Kubernetes，也不是禁止它运行普通 Pod。MetalLB 默认遵守该标签；如果部署时启用了忽略该标签的参数，需要另行核对。[2]\n当时的截图确认：标签已经存在，h25 仍为 Ready。历史记录也显示入口 VIP 的宣告节点从 h25 转到了 h20。\n这一步是隔离措施，不能替代对宿主机网络的继续检查。speaker Pod 仍然运行，也不代表标签没有生效；要看具体 VIP 的宣告情况。\n此外，Service Events 里可能同时保留新旧节点的记录，应结合时间判断，不能看到一条旧的 h25 事件就认定切换失败。\n6. 从两个观察点验证 VIP 的 ARP 当时还对 ArgoCD 的 VIP 做了检查：\n192.168.6.63 它与前面 cilium-ingress 的 .60 是两个不同的 VIP，复盘时不能混为一个地址。\nh11 上执行：\nkubectl get svc -A -o wide | grep 192.168.6.63 arping -I eth0 -c 3 192.168.6.63 当时的回应 MAC 为：\n52:54:00:xx:xx:xx Windows 上检查：\narp -a | findstr 192.168.6.63 得到同一个 MAC。结合节点 ARP 信息，它对应 h20。h11 的三次 ARP 探测均收到了响应。\n这证明在当时的观察点上，.63 的二层响应已对应到 h20。它是有价值的验证，但不等于所有网站、所有协议都已完成端到端测试。\n7. 最终解决：Windows 宿主机改用网线 继续核对 VMware 网络设置，发现 VMnet0 桥接到了：\nBroadcom 802.11n 无线网卡 这张配置截图，把“无线桥接”从猜测变成了明确的环境事实。\n最终，我把 Windows 宿主机改为网线连接，之后问题解决。\n需要分清两个结论：\n**实际修复结果：**改用有线连接后，访问异常消失。\n**技术机制判断：**原来的 Windows + VMware + Wi-Fi 桥接链路，是这次故障的重要嫌疑点；ARP 观察差异及 VIP 宣告节点变化，支持沿着这条链路排查。\n现有记录没有完整的双端抓包，也没有在所有其他条件完全不变时重复切换无线、有线的对照实验。因此，不能进一步写成“已经证明某款驱动存在缺陷”“确定发生了 ARP 欺骗”，或“所有 Wi-Fi 桥接都不能运行 Kubernetes”。\n同样，记录没有确认改接网线后是否移除了排除标签，所以不能据此声称 h25 已重新承担 VIP 宣告并通过验证。\n这次复盘能确定的是：排查中隔离了 h25 的 VIP 宣告角色，最终通过改用网线解决了实际访问问题。\n8. 如果再遇到一次，我会怎样排查？ 下面是根据这次经验整理的检查顺序，并不是声称当时每条命令都执行过。\n先记录影响范围 先把“网络不通”变成具体对象：失败的是哪个域名、哪个目标 IP、哪个端口？公网网站和集群入口是否同时失败？Windows 宿主机和其他节点是否表现一致？\n保留一次 h25 开机前、开机后的对比结果，比同时改动五个配置更有价值。\n再看地址、路由和邻居表 在相关 Linux 节点上：\nip -br addr ip route ip route get 192.168.6.25 ip neigh show 在 h11 上针对 h25：\nping -c 3 192.168.6.25 ip neigh show 192.168.6.25 在 Windows 上：\nipconfig /all route print arp -a 对同网段地址，重点看目标本身的 ARP；对公网地址，通常需要看下一跳网关的 ARP，而不是期待邻居表中出现公网服务器的 MAC。\n然后核对 DNS 和真实业务连接 # 替换为实际失败的网站域名 dig \u0026lt;实际域名\u0026gt; curl -v --connect-timeout 5 https://\u0026lt;实际域名\u0026gt;/ VIP 不一定回应 ICMP，不应把 ping VIP 作为唯一验收方式。应访问服务实际提供的端口，并保留正确的域名、Host 和 TLS SNI。[2]\n有二层疑点时，做双端观察 在相关接口抓取 ARP：\nsudo tcpdump -eni eth0 arp 同时从同一二层网络的另一台机器探测目标 VIP：\narping -I eth0 -c 3 192.168.6.63 重点核对：请求是否到达宣告节点？回复是否发出？客户端是否收到？同一个 VIP 的响应 MAC 是否异常变化？\n接口名要按实际环境替换。单看一端的“已发送”，不能证明另一端已经收到。\n最后检查宿主机与桥接映射 改接网线时，还应检查 Windows 实际使用的接口，以及 VMware VMnet0 当前桥接到哪块网卡。若仍桥接到原来的无线网卡，物理上插了网线也未必改变 VM 的路径。\n这些是再次遇到问题时需要明确验证的步骤，不是对当时未保存操作的补写。\n9. 这次排障留下的三个习惯 先确认报文路径，再决定查哪个组件。\n浏览器报错不一定是 DNS；服务不可达也不一定是 Cilium。先把请求卡在哪一段弄清楚。\n把“缓解措施”和“最终修复”分别记录。\n排除 h25 的 VIP 宣告，可以缩小问题范围；改用网线，是这次实际解决访问异常的操作。两者都应记录，不能互相替代。\n截图要标明机器、时间和目标地址。\nh11 的 ARP 表、h25 的 ARP 表、.60 的宣告记录、.63 的探测结果，各自回答不同问题。只有放回正确的观察位置，证据才有意义。\n那天我最先想到的是 Kubernetes 组件，最后却回到了宿主机的一块网卡和一根网线。\n以后再遇到类似故障，我会先问自己：这次请求从客户端到服务，究竟经过了哪些接口？哪一段真的验证过，哪一段只是以为正常？\n复盘材料与参考 当时的截图索引 以下是已核对的原始文件，便于配图；本文没有重绘或伪造终端输出。\n时间 文件名 10 月 8 日 11:49 h25 VMware 网络设置 10 月 8 日 12:06 h11 ping h25 与 ARP 结果 8 月 18 日 12:11:28 h11 网卡与 ARP 表 10 月 8 日 12:11:36 h25 网卡与 ARP 表 10 月 8 日 12:51 h25 排除标签、.63 的 Linux/Windows ARP 对比 10 月 8 日 13:00 VMnet0 桥接 Broadcom 无线网卡 事实依据包括上述截图、当日排障对话，以及后来对最终处理结果的补充：Windows 宿主机接网线后问题解决。文中的再次排查清单是复盘整理，不是完整历史命令日志。\n官方机制参考 MetalLB：Layer 2 模式——用于解释 VIP 的 ARP 宣告机制。 MetalLB：Troubleshooting——用于核对排除标签、ARP 验证和实际服务访问方法。文档中的 Wi-Fi 问题说明是一般背景，不能作为本次具体驱动故障的证明。 ","permalink":"https://nativeopslab.com/vmware.html/","summary":"\u003cp\u003e一台虚拟机开机，电脑突然很多网站都访问不了；把虚拟机关掉，访问又恢复正常。\u003c/p\u003e\n\u003cp\u003e这是我在 Kubernetes 实验环境里遇到过的一次真实故障。第一反应很自然：Cilium 出问题了？MetalLB 抢了地址？DNS 不正常？还是新节点加入集群时配置有误？\u003c/p\u003e\n\u003cp\u003e最终，让问题消失的操作很简单：\u003cstrong\u003e把 Windows 宿主机从 Wi-Fi 改为网线连接。\u003c/strong\u003e\u003c/p\u003e\n\u003cp\u003e但这篇文章想记录的，不只是“插网线就好了”，而是如何从开关机现象，逐步找到 ARP、VIP 宣告节点和宿主机桥接链路之间的联系。\u003c/p\u003e\n\u003cp\u003e标题里的“整个网络都出问题了”，描述的是当时的使用感受。已有记录能确认的是电脑出现多站点访问异常，不能据此断言整个局域网或所有公网连接都中断。\u003c/p\u003e\n\u003ch2 id=\"1-环境同一个网段两种虚拟化链路\"\u003e1. 环境：同一个网段，两种虚拟化链路\u003c/h2\u003e\n\u003cp\u003e当时的集群不是由完全相同的机器组成的。\u003c/p\u003e\n\u003cdiv class=\"highlight\"\u003e\u003cpre tabindex=\"0\" style=\"color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;\"\u003e\u003ccode class=\"language-text\" data-lang=\"text\"\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e| 项目           | 环境                            \n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e| ------------ | ------------------------------ \n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e| h11–h23      | Rocky Linux 9 宿主环境上的 KVM 虚拟机  \n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e| h25          | Windows 宿主机上的 VMware Linux 虚拟机 \n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e| 局域网          | 192.168.6.0/24                \n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e| h11 地址       | 192.168.6.11                   \n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e| h25 地址       | 192.168.6.25                  \n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e| 网关           | 192.168.6.1                    \n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e| 集群网络组件       | Cilium                         \n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e| 外部服务地址宣告     | MetalLB，Layer 2 模式           \n\u003c/span\u003e\u003c/span\u003e\u003cspan style=\"display:flex;\"\u003e\u003cspan\u003e| h25 宿主机原接入方式 | Wi-Fi，VMware 桥接到无线网卡         \n\u003c/span\u003e\u003c/span\u003e\u003c/code\u003e\u003c/pre\u003e\u003c/div\u003e\u003cp\u003eh25 是 Windows 上运行的 \u003cstrong\u003eLinux VM\u003c/strong\u003e，不是 Windows Kubernetes 节点。后续截图里，h25 已经是 Ready，显示 Kubernetes v1.28.15。\u003c/p\u003e","title":"一台 VM 开机，为什么整个网络都出问题了？"},{"content":"1. 项目摘要 本项目围绕一套真实可运行的 Kubernetes 实验平台，逐步完成容器网络、裸金属 LoadBalancer、Gateway API、持久化存储、数据库与缓存高可用、Prometheus生态、VictoriaMetrics、自定义业务指标 HPA、GitLab/Jenkins/Harbor/ArgoCD、DEV/TEST/PROD 多环境、BuildOnce Promote Many、Canary 渐进式发布、Prometheus Gate、自动回滚、故障演练与高可用封板。\n项目的重点不是“安装了多少组件”，而是把源码、制品、声明式配置、业务流量、监控指标、恢复机制和权限边界串成一条可以解释和验证的生产闭环。\nDeveloper / Git Push ↓ GitLab ↓ Jenkins CI Test / BuildKit / Image ↓ Harbor (immutable Git SHA) ↓ GitOps Repository ↓ ArgoCD ↓ DEV → TEST → TEST Approved → PROD Canary ↓ 5 → 10 → 30 → 50 → 100 ↓ Prometheus Gate ↙ ↘ Rollback Stable Promotion 核心方法论 BuildOnce, Promote Many；Git is Desired State；Jenkins 做 CI/编排，ArgoCD 做 CD；Readiness 与业务质量分层判断；先止血再排障；HA不等于 Backup/DR。\n2.总体架构与数据流 2.1 CI/CD 与 GitOps 控制链: Developer / Git Push ↓ GitLab ↓ Jenkins CI Test / BuildKit / Image ↓ Harbor (immutable Git SHA) ↓ GitOps Repository ↓ ArgoCD ↓ DEV → TEST → TEST Approved → PROD Canary ↓ 5 → 10 → 30 → 50 → 100 ↓ Prometheus Gate ↙ ↘ Rollback Stable Promotion 2.2 PROD 流量链: Client ↓ MetalLB LoadBalancer IP ↓ Cilium Gateway (192.168.6.67) ↓ HTTPRoute ├─ springboot-demo Stable └─ springboot-demo-canary Canary ↓ SpringBoot Pods 2.3 数据与可观测链: SpringBoot → MaxScale ×2 → MariaDB Galera ×3 └───────────────→ Redis×3 + Sentinel ×3 SpringBoot /actuator/prometheus ↓ Prometheus ↙ ↓ ↘ Grafana Alertmanager VictoriaMetrics ↓ Prometheus Adapter → Custom Metrics API → HPA 网络、发布、数据和监控不是彼此孤立的组件，而是在故障演练中互相验证：例如 Canary Pod Ready 但业务 500，需要Prometheus 业务指标判定；HPA 指标丢失需要从 Custom Metrics 反向定位到 Prometheus/ServiceMonitor；Stablerollout 失败又需要 Jenkins/ArgoCD/Gateway 共同完成止损。\n3.Kubernetes集群与基础设施 节点范围为 h11-h25，共 15 个节点；h11/h12/h13 为 Control Plane，其余为 Worker，当时 h14 处于Ready,SchedulingDisabled。节点操作系统以 Rocky Linux 9.8 为主，Kubernetes 版本 v1.28.15\n4.Cilium、MetalLB 与 Gateway API 项目从传统简单 CNI 思路演进到 Cilium，核心原因不是“追新技术”，而是实际需要 eBPF、kube-proxyreplacement、NetworkPolicy、L7、Hubble 可观测以及 Gateway API 流量治理。\n4.1 Cilium native routing +autoDirectNodeRoutes，Pod 网段 10.244.0.0/16。 4.2 Hubble Relay/UI/metrics 用于网络可观测。 4.3 MetalLB 为自建虚拟化环境分配 LoadBalancerIP。 4.4 PROD Gateway 代表性地址 192.168.6.67，Programmed=True。 4.5 HTTPRoute 支持 Stable/CanarybackendRefs weight，成为渐进式发布的核心流量控制点。 旧 Ingress 在迁移期间保留为回退入口，避免一次性切换增加风险 5.持久化存储与数据保护 5.1 Redis 迁移的工程原则 5.2 先确认备份可读：RDB 校验成功；AOF 检查错误后使用 redis-check-aof 修复。 5.3 创建新 PVC/迁移 Pod，不直接删除旧卷。 5.4 通过 REPLICAOF 建立复制，观察 master_link_status。 5.5 对比 DBSIZE、Keyspace、过期键，并进行真实写入/删除测试。 5.6 新存储验证完成后再进行正式切换与旧资源回收。 数据原则 副本不是备份，HA 不是 DR。存储迁移中最重要的是“先保护数据，再改变架构”。\n6.MariaDB Galera + MaxScale 数据库采用 3 节点 MariaDB Galera + 2 副本 MaxScale。应用只连接 MaxScale 服务，后端数据库关注Galera Primary Component、Synced 状态和集群规模。\n典型检查包括 wsrep_cluster_size、wsrep_cluster_status、wsrep_local_state_comment、wsrep_ready。实验中也遇到过MaxScale 连接、MariaDB 启动/同步、权限等问题，排障顺序固定为：应用配置 → DNS/Service → MaxScale → 数据库成员状态。\n7.Redis+ Sentinel Redis 实验覆盖主从复制、Sentinel 故障切换、RDB/AOF、数据迁移与恢复。项目明确区分“Redis 自动切主”和“数据零丢失”：Sentinel解决可用性问题，但异步复制窗口仍然需要在生产 RPO 设计中评估。\n8.可观测性体系 8.1 Prometheus WAL read-only 故障 Prometheus 曾从 WAL 层开始出现 read-only filesystem，采集、规则和写入都受到影响。这个故障把“监控平台是否可用”从旁支问题变成了生产发布链路的一部分：CanaryGate、HPA Custom Metrics、告警都依赖指标系统。\n8.2 排查不能只重启 Prometheus。 8.3 需要同时检查 Pod 日志、PVC/PV、底层节点文件系统和挂载状态。 8.4 发布 Gate 对指标不可用应采取 Fail Closed，而不是继续放量。 9. Prometheus Adapter + 业务 QPS HPA 自定义指标链路将 SpringBoot 的 HTTP Counter 通过 Prometheus/Adapter 转换为`http_requests_per_second`，由 autoscaling/v2 HPA 使用 Pods/AverageValue 驱动扩缩容。\nSpringBoot /actuator/prometheus ↓ Prometheus: rate(http_server_requests_seconds_count\\[1m]) ↓ Prometheus Adapter ↓ custom.metrics.k8s.io ↓ http_requests_per_second ↓ HPA (target ≈ 5 QPS / Pod) 10.GitLab / Jenkins / Harbor / ArgoCD 权限原则 Jenkins 负责“生成制品并修改 Git”，ArgoCD 负责“把 Git 变成集群状态”。这样生产变更具备审计、回滚、漂移检测和更清晰的最小权限边界。\n11. GitOps 仓库结构与多环境 demo 保留为实验/故障/Canary 沙箱；正式 DEV/TEST/PROD 采用 Helm Chart + 环境 values。PROD 在相同 Chart 上启用 Canary Deployment/Service/HPA/Gateway/HTTPRoute，实现模板复用与环境差异收敛。\nspringboot-gitops/ ├─ apps/springboot-demo/ # demo / Kustomize lab ├─ argocd/applications/ ├─ charts/springboot-demo/ │ └─ templates/ │ ├─ deployment.yaml │ ├─ deployment-canary.yaml │ ├─ service*.yaml │ ├─ hpa*.yaml │ ├─ gateway.yaml │ └─ httproute.yaml ├─ environments/ │ ├─ dev/values.yaml │ ├─ test/values.yaml │ └─ prod/values.yaml └─ scripts/set-canary-*.sh 12. ArgoCD 四环境健康状态 这一状态非常关键：它说明 HPA/ServiceMonitor/Helm 等正式多环境资源在 Git Desired State 与集群 Live State 之间实现了健康收敛。后续故障演练中也利用 ArgoCD SelfHeal 验证人工漂移恢复。\n13.Build Once, Promote Many 项目最终禁止按环境重复构建。CI 只产生一次 Git SHA 不可变镜像；后续 DEV → TEST → PROD 只修改环境声明并提升同一个制品。这样把“代码一致”提升为“制品一致”。\nSource Commit ↓ Image : \u0026lt;git-sha\u0026gt; ↓ DEV : same image ↓ TEST : same image ↓ TEST Approved Release State ↓ PROD Canary : same image ##### 13.1 Jenkins promote 成功证据\n截图明确输出 No rebuild occurred. The exact same immutable image was promoted.。这一步把多环境发布从“概念”变成可审计流水线。\n14.TEST Approved 与 Release State 为了避免 PROD Pipeline 由人工随意输入 Tag，项目把 TEST 验证结果写入 release-state，并由 PROD Canary Pipeline 消费。此处曾出现“顶层 release-state.env 与 environments/prod/release-state.env 路径不一致”的问题，最终统一职责和读写位置。 15.PROD Canary 设计 Cilium HTTPRoute │ ┌────────────┴────────────┐ ↓ ↓ Stable Service Canary Service springboot-demo springboot-demo-canary ↓ ↓ Stable Deployment Canary Deployment min 3 / max 8 min 1 / max 8 PROD Canary 使用 Gateway API 原生 backendRefs.weight，在同一 HTTPRoute 中做 5% → 10% → 30% → 50% → 100% 渐进式放量。每个阶段都需要可观测 Gate 才能继续。\n16. “Pod Ready 但业务 500”为什么重要 坏版本 ed05520e 是项目最有价值的故障案例之一：SpringBoot 进程正常、Readiness/Actuator 正常、Prometheus Target 正常，但核心业务 / 返回 HTTP 500 ##关键结论 Kubernetes Ready 只能证明“满足就绪条件”，不能证明“核心业务正确”。所以 Canary Gate 必须使用业务 QPS/5xx 等指标，而不是只看 Probe。\nInfrastructure health Pod Running / Ready = true Actuator health = UP Prometheus up = 1 Business health GET / = HTTP 500 =\u0026gt; Release Gate must evaluate business metrics 17.Jenkins Canary Pipeline 工程化 17.1 支持 5/10/30/50/100% 分阶段 Gate 与人工审批。 17.2 支持断点续跑：根据当前 HTTPRoute 权重判断恢复点。 17.3 失败时先将流量恢复 Stable 100/Canary 0。 17.4 最终 Stable Promotion 失败时采用“两阶段回滚”：先保证业务承载，再恢复 previous Stable，Ready 后再切流量。 17.5 Git fetch/push 增加重试、SSH keepalive、远端 commit 存在性判断、rebase 后重试。 17.6 处理过 Declarative stage 层级/花括号、Agent bash 缺失、release-state 路径等工程问题 18.代表性故障与排障方法 19.安全治理与生产权限边界 19.1 Namespace 隔离与 Default Deny NetworkPolicy。 19.2 按真实调用链放通 DNS、应用、MaxScale/数据库等必要流量。 19.3 Cilium L7 Policy 用于七层网络策略实验。 19.4 RBAC 最小权限；Jenkins ServiceAccount 不应成为生产万能管理员。 19.5 ConfigMap 与 Secret 分离；敏感信息不硬编码进镜像。 19.6 镜像使用 Git SHA，不使用 latest。 19.7 GitOps 作为生产变更主路径，保留审计与回滚。 这套权限边界的重点不是“完全禁止 kubectl”，而是把 kubectl 直接修改 PROD 定义为应急/故障演练路径；正常发布必须通过 Git 进入 ArgoCD。 20.总结架构流程图 20.1 底层平台是 Rocky Linux → containerd → Kubernetes → Cilium → MetalLB → Storage； 20.2 运行平台是 MariaDB/MaxScale + Redis/Sentinel + Monitoring/Logging/Tracing； 20.3 交付主线是 GitLab → Jenkins → BuildKit → Harbor → GitOps → ArgoCD → DEV → TEST → PROD Canary → Stable/Rollback； 20.4 最后由 HPA、安全治理、故障恢复和 HA 围绕业务形成运行闭环。 ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ Kubernetes DevOps / GitOps 高可用微服务平台 · 总架构主流程图 │ └────────────────────────────────────────────────────────────────────────────────────────────┘ ┌───────────────────────┐ │ Developer │ │ Java / SpringBoot │ └───────────┬───────────┘ │ git push │ ▼ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ SOURCE CONTROL │ │ │ │ GitLab │ │ ┌─────────────────┴─────────────────┐ │ │ │ │ │ │ ▼ ▼ │ │ Source Repository GitOps Repository │ │ springboot-demo springboot-gitops │ │ ├─ src/ ├─ charts/ │ │ ├─ pom.xml ├─ environments/ │ │ ├─ Dockerfile │ ├─ dev/ │ │ └─ Jenkinsfile │ ├─ test/ │ │ │ └─ prod/ │ │ └─ argocd/applications/ │ └───────────────────────────────────┬────────────────────────────────────────────────────────┘ │ │ SCM / Trigger ▼ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ CI / DEVSECOPS │ │ │ │ Jenkins │ │ │ │ │ Kubernetes Dynamic Agent │ │ │ │ │ ┌────────────────────┼────────────────────┐ │ │ │ │ │ │ │ ▼ ▼ ▼ │ │ Checkout Maven Test Security / Quality │ │ │ │ │ │ │ ┌────────────┼────────────┐ │ │ │ │ │ │ │ │ │ ▼ ▼ ▼ │ │ │ SonarQube Semgrep Trivy │ │ │ │ │ │ │ Quality Gate │ │ └────────────────────┬────┴────────────────────────────────────────────┘ │ │ │ │ ▼ │ │ Maven Package │ │ │ │ │ ▼ │ │ Git Commit SHA │ │ 例如 f68c7385 │ │ │ │ │ ▼ │ │ BuildKit │ └─────────────────────────────────────────┬──────────────────────────────────────────────────┘ │ │ build + push ▼ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ IMMUTABLE ARTIFACT │ │ │ │ Harbor │ │ │ │ harbor.demo.com/springboot/springboot-demo:\u0026lt;GIT-SHA\u0026gt; │ │ │ │ 例：springboot-demo:f68c7385 │ │ │ │ Source SHA = Image Tag │ │ │ │ 禁止 latest · Build Once │ └─────────────────────────────────────────┬──────────────────────────────────────────────────┘ │ │ Jenkins 修改 Git ▼ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ GITOPS │ │ │ │ Jenkins │ │ │ │ │ └──── 修改 environments/*/values.yaml │ │ │ │ │ ▼ │ │ git commit │ │ │ │ │ ▼ │ │ git push │ │ │ │ │ ▼ │ │ GitLab │ │ │ │ │ ▼ │ │ ArgoCD │ │ ┌─────────┼───────────────┐ │ │ │ │ │ │ │ ▼ ▼ ▼ │ │ AutoSync Prune SelfHeal │ │ │ │ │ ▼ │ │ Git Desired State ───────────────→ Kubernetes Live State │ │ │ │ 正常生产路径：Jenkins → Git → ArgoCD → Kubernetes │ │ 而不是 Jenkins → kubectl patch PROD │ └─────────────────────────────────────────┬──────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────┐ │ MULTI-ENV DELIVERY │ └───────────────┬─────────────────┘ │ ▼ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ DEV │ │ │ │ environments/dev/values.yaml │ │ │ │ │ ▼ │ │ ArgoCD springboot-dev │ │ │ │ │ ▼ │ │ Deployment / Service │ │ │ │ │ ▼ │ │ Readiness / Liveness │ │ │ │ │ ▼ │ │ Metrics / Business Test │ │ │ │ │ DEV 验证通过 │ └──────────────────────────────────┬─────────────────────────────────────────────────────────┘ │ │ springboot-demo-promote ▼ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ DEV → TEST PROMOTION │ │ │ │ 读取 DEV Desired Image │ │ │ │ │ ▼ │ │ 验证 DEV Live Image 一致 │ │ │ │ │ ▼ │ │ 校验 Tag = Immutable Git SHA │ │ │ │ │ ▼ │ │ Manual Approval │ │ │ │ │ ▼ │ │ environments/test/values.yaml │ │ │ │ │ 只修改 image.tag │ │ │ │ │ ★ NO REBUILD ★ │ │ │ │ │ ▼ │ │ ArgoCD springboot-test │ │ │ │ │ ▼ │ │ TEST Rollout │ │ │ │ │ ▼ │ │ 验证 TEST Live Image = DEV Image │ │ │ │ │ ▼ │ │ TEST APPROVED │ └──────────────────────────────────┬─────────────────────────────────────────────────────────┘ │ ▼ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ RELEASE HANDOFF │ │ │ │ release-state.env │ │ │ │ APP_NAME=springboot-demo │ │ APPROVED_ENV=test │ │ IMAGE_REPOSITORY=... │ │ IMAGE_TAG=\u0026lt;git-sha\u0026gt; │ │ APPROVED=true │ │ BUILD_NUMBER=... │ │ TIME=... │ │ │ │ TEST → PROD 的正式审批凭据 │ └──────────────────────────────────┬─────────────────────────────────────────────────────────┘ │ │ springboot-canary-release ▼ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ PROD PRE-CHECK │ │ │ │ 读取 TEST Approved Release │ │ │ │ │ ┌─────────────────────┼──────────────────────────┐ │ │ ▼ ▼ ▼ │ │ APPROVED=true？ IMAGE_TAG=SHA？ Repository 是否正确？ │ │ │ │ │ │ │ └─────────────────────┼──────────────────────────┘ │ │ │ │ │ ▼ │ │ TEST Git Tag 校验 │ │ │ │ │ ▼ │ │ TEST Live Image 校验 │ │ │ │ │ ┌────────────┴────────────┐ │ │ │ │ │ │ FAIL PASS │ │ │ │ │ │ ▼ ▼ │ │ FAIL CLOSED 允许进入 PROD │ └───────────────────────────────────────────────┬────────────────────────────────────────────┘ │ ▼ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ PROD CANARY │ │ │ │ Cilium Gateway │ │ │ │ │ ▼ │ │ HTTPRoute │ │ │ │ │ ┌───────────────┴───────────────┐ │ │ │ │ │ │ ▼ ▼ │ │ Stable Canary │ │ Deployment × N Deployment × N │ │ │ │ │ │ ▼ ▼ │ │ Stable Service Canary Service │ │ │ │ │ │ ▼ ▼ │ │ Stable HPA Canary HPA │ │ min=3 max=8 min=1 max=8 │ │ │ │ │ │ └──────────────┬────────────────┘ │ │ │ │ │ ▼ │ │ HTTPRoute Weight │ └─────────────────────────────────────┬──────────────────────────────────────────────────────┘ │ ▼ Candidate Prepare │ ▼ Canary Image Update │ ▼ Weight = 0% │ ▼ Canary Pod Ready │ ▼ Canary Endpoint Ready │ ▼ Warmup │ ▼ Prometheus Metrics Ready │ ▼ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ PROGRESSIVE DELIVERY │ │ │ │ Stable 95 / Canary 5 │ │ │ │ │ ▼ │ │ Prometheus Gate │ │ │ │ │ ┌────────┴────────┐ │ │ PASS FAIL │ │ │ │ │ │ ▼ └────────────────────────────┐ │ │ Manual Approval │ │ │ │ │ │ │ ▼ │ │ │ 10% │ │ │ │ │ │ │ ▼ │ │ │ Prometheus Gate │ │ │ │ │ │ │ ▼ │ │ │ 30% │ │ │ │ │ │ │ ▼ │ │ │ Prometheus Gate │ │ │ │ │ │ │ ▼ │ │ │ 50% │ │ │ │ │ │ │ ▼ │ │ │ Prometheus Gate │ │ │ │ │ │ │ ▼ │ │ │ 100% │ │ │ │ │ │ │ ▼ │ │ │ Final Candidate Gate │ │ │ │ │ │ │ ┌─────┴─────┐ │ │ │ PASS FAIL ────────────────────────────────────┘ │ │ │ │ └───────────────────┼──────────────────────────────────────────────────────────────────────────┘ │ │ ┌───────────┴─────────────────────┐ │ │ ▼ ▼ ┌──────────────────────────┐ ┌────────────────────────────────────────────┐ │ STABLE PROMOTION │ │ ROLLBACK │ │ │ │ │ │ Canary 已通过100% Gate │ │ 任意 Canary Gate FAIL │ │ │ │ │ │ │ │ ▼ │ │ ▼ │ │ 记录 OLD_STABLE_TAG │ │ GitOps canary.weight=0 │ │ │ │ │ │ │ │ ▼ │ │ ▼ │ │ Candidate → Stable │ │ git push │ │ │ │ │ │ │ │ ▼ │ │ ▼ │ │ Git Commit / Push │ │ ArgoCD │ │ │ │ │ │ │ │ ▼ │ │ ▼ │ │ ArgoCD │ │ HTTPRoute │ │ │ │ │ │ │ │ ▼ │ │ ▼ │ │ Stable RollingUpdate │ │ Stable 100 / Canary 0 │ │ │ │ │ │ │ │ ▼ │ │ ▼ │ │ Wait Ready │ │ Business Verify │ │ │ │ │ │ │ │ ▼ │ │ ▼ │ │ Image Verify │ │ Pipeline FAIL │ │ Endpoint Verify │ │ │ │ Business Verify │ │ “发布失败，但生产流量安全” │ │ │ │ └────────────────────────────────────────────┘ │ ▼ │ │ Stable 100 │ │ Canary 0 │ │ │ │ │ ▼ │ │ RELEASE SUCCESS │ └──────────┬───────────────┘ │ ▼ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ PROD RELEASE STATE │ │ │ │ environments/prod/release-state.env │ │ │ │ PREVIOUS_STABLE_TAG │ │ CURRENT_STABLE_TAG │ │ CANDIDATE_TAG │ │ PROMOTION_BUILD │ │ PROMOTION_TIME │ │ │ │ 为最终 Promotion / Emergency Rollback 提供审计 │ └──────────────────────────────────┬─────────────────────────────────────────────────────────┘ │ ▼ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ PRODUCTION TRAFFIC │ │ │ │ Client │ │ │ │ │ ▼ │ │ springboot-prod.demo.com │ │ │ │ │ ▼ │ │ MetalLB VIP │ │ 192.168.6.67 │ │ │ │ │ ▼ │ │ Cilium Gateway │ │ │ │ │ ▼ │ │ HTTPRoute │ │ │ │ │ ┌──────────────────┴──────────────────┐ │ │ ▼ ▼ │ │ Stable Service Canary Service │ │ │ │ │ │ ▼ ▼ │ │ Stable Pods Canary Pods │ │ │ │ │ │ └──────────────────┬──────────────────┘ │ │ │ │ │ ┌────────────┴─────────────┐ │ │ ▼ ▼ │ │ MaxScale Redis │ │ │ │ │ │ ▼ ▼ │ │ MariaDB Galera Sentinel │ │ × 3 × 3 │ └────────────────────────────────────────────────────────────────────────────────────────────┘ ╔══════════════════════════════════════╗ ║ PARALLEL CONTROL LOOPS ║ ╚══════════════════════════════════════╝ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ OBSERVABILITY │ │ │ │ SpringBoot / Kubernetes / Nodes │ │ │ │ │ ▼ │ │ Prometheus │ │ │ │ │ ┌───────┼────────────┬───────────────┬───────────────────────┐ │ │ │ │ │ │ │ │ │ ▼ ▼ ▼ ▼ ▼ │ │ Grafana Alertmanager VictoriaMetrics Prometheus Adapter Release Gate │ │ Long-term │ QPS / 5xx │ │ ▼ │ │ Custom Metrics API │ │ │ │ │ ▼ │ │ http_requests_per_second │ │ │ │ │ ▼ │ │ HPA │ │ │ │ │ ▼ │ │ Deployment Replicas │ │ │ │ 其它：Blackbox / Federation / DNS SD / Pushgateway │ └────────────────────────────────────────────────────────────────────────────────────────────┘ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ LOGS / TRACE / NETWORK │ │ │ │ Container Logs ─→ Fluent Bit ─┬─→ Loki ───────────────→ Grafana / LogQL │ │ │ │ │ └─→ Elasticsearch / ECK ─→ Kibana │ │ │ │ SpringBoot ─→ SkyWalking Agent ─→ OAP ─→ Trace │ │ │ │ Cilium ─→ Hubble Relay / UI ─→ Network Flow │ │ │ │ Metrics + Logs + Traces + Network │ └────────────────────────────────────────────────────────────────────────────────────────────┘ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ STORAGE │ │ │ │ Kubernetes PVC │ │ │ │ │ ┌───────────────────┼───────────────────┐ │ │ ▼ ▼ ▼ │ │ NFS CSI OpenEBS hostpath OpenEBS Jiva │ │ RWX RWO RWO │ │ │ │ │ WordPress Elasticsearch等 MariaDB / Redis / Monitoring │ │ │ │ 数据迁移原则：Backup → Validate → Replicate → Compare → Switch → Verify │ └────────────────────────────────────────────────────────────────────────────────────────────┘ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ SECURITY │ │ │ │ Namespace Isolation │ │ ↓ │ │ Default Deny NetworkPolicy │ │ ↓ │ │ 按业务调用链放通 │ │ ↓ │ │ Cilium L3/L4/L7 Policy │ │ │ │ RBAC → ServiceAccount → Least Privilege │ │ │ │ ConfigMap ≠ Secret │ │ │ │ Jenkins Credentials │ │ ├─ gitlab-deploy-key │ │ ├─ gitops-write-key │ │ └─ harbor-robot │ │ │ │ Immutable Git-SHA Image · 禁止 latest │ │ │ │ Jenkins PROD Kubernetes 权限尽量 Read-Only │ └────────────────────────────────────────────────────────────────────────────────────────────┘ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ FAULT RECOVERY │ │ │ │ Fault Injection │ │ │ │ │ ├─ Pod Delete │ │ ├─ CrashLoopBackOff │ │ ├─ Readiness Failure │ │ ├─ HTTP 500 │ │ ├─ Service / Endpoint │ │ ├─ NetworkPolicy │ │ ├─ DNS │ │ ├─ Gateway / HTTPRoute │ │ ├─ HPA / Custom Metrics │ │ ├─ Prometheus │ │ ├─ MariaDB / MaxScale │ │ ├─ Redis │ │ ├─ Jenkins │ │ ├─ ArgoCD │ │ └─ Worker Node │ │ │ │ ▼ │ │ Detect │ │ ↓ │ │ Diagnose │ │ ↓ │ │ Isolate │ │ ↓ │ │ Recover │ │ ↓ │ │ Business Verify │ │ ↓ │ │ T0 / T1 / T2 / T3 │ │ ↓ │ │ MTTD / RTO / RPO │ └────────────────────────────────────────────────────────────────────────────────────────────┘ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ HIGH AVAILABILITY │ │ │ │ Kubernetes HA │ │ │ │ │ ┌─────────────────────────┼──────────────────────────┐ │ │ │ │ │ │ │ ▼ ▼ ▼ │ │ Control Plane ×3 Worker Nodes etcd Cluster │ │ │ │ Cilium / MetalLB / Gateway │ │ │ │ MariaDB Galera ×3 ─→ MaxScale ×2 │ │ │ │ Redis ×3 ─→ Sentinel ×3 │ │ │ │ Storage / PVC │ │ │ │ Prometheus / Grafana / Alertmanager │ │ │ │ GitLab / Jenkins / Harbor / ArgoCD │ │ │ │ 单点故障 → 服务继续 → 自动恢复 │ └────────────────────────────────────────────────────────────────────────────────────────────┘ ┌────────────────────────────────────────────────────────────────────────────────────────────┐ │ PRODUCTION SEAL │ │ │ │ PDB │ │ Pod Distribution / Anti-Affinity / TopologySpread │ │ Requests / Limits │ │ Startup / Readiness / Liveness │ │ HPA │ │ RBAC │ │ NetworkPolicy │ │ Secret │ │ GitOps │ │ Immutable Images │ │ Canary / Rollback │ │ Monitoring / Alert │ │ Storage / Backup Boundary │ │ Fault Recovery │ │ HA Validation │ │ │ │ FINAL ACCEPTANCE │ └───────────────────────────────────┬────────────────────────────────────────────────────────┘ │ ▼ ╔═══════════════════════╗ ║ PROJECT COMPLETE ║ ╚═══════════════════════╝ ────────────────────────────────────────────────────────────────────────────────────────────── 整个项目的核心闭环 ────────────────────────────────────────────────────────────────────────────────────────────── Source Code ↓ Test / Scan ↓ Build Once ↓ Git-SHA Immutable Image ↓ Harbor ↓ GitOps ↓ DEV ↓ Same Artifact ↓ TEST ↓ TEST Approved ↓ PROD Canary ↓ 0 → 5 → 10 → 30 → 50 → 100 ↓ Prometheus Business Gate │ ├──────── PASS ────────→ Stable Promotion │ ↓ │ Stable 100 / Canary 0 │ └──────── FAIL ────────→ GitOps Rollback ↓ Stable 100 / Canary 0 ↓ Observability ↓ HPA Auto Scaling ↓ Security Governance ↓ Fault Detection ↓ Automatic / Controlled Recovery ↓ High Availability ↓ Production Seal ","permalink":"https://nativeopslab.com/k8s-devops-gitops.html/","summary":"\u003ch1 id=\"1-项目摘要\"\u003e1. 项目摘要\u003c/h1\u003e\n\u003cp\u003e本项目围绕一套真实可运行的 Kubernetes 实验平台，逐步完成容器网络、裸金属 LoadBalancer、Gateway API、持久化存储、数据库与缓存高可用、Prometheus生态、VictoriaMetrics、自定义业务指标 HPA、GitLab/Jenkins/Harbor/ArgoCD、DEV/TEST/PROD 多环境、BuildOnce Promote Many、Canary 渐进式发布、Prometheus Gate、自动回滚、故障演练与高可用封板。\u003c/p\u003e\n\u003cp\u003e项目的重点不是“安装了多少组件”，而是把源码、制品、声明式配置、业务流量、监控指标、恢复机制和权限边界串成一条可以解释和验证的生产闭环。\u003c/p\u003e\n\u003cpre tabindex=\"0\"\u003e\u003ccode\u003eDeveloper / Git Push\n        ↓\n      GitLab\n        ↓\n      Jenkins CI\n Test / BuildKit / Image\n        ↓\n Harbor (immutable Git SHA)\n        ↓\n GitOps Repository\n        ↓\n       ArgoCD\n        ↓\n DEV → TEST → TEST Approved → PROD Canary\n                          ↓\n                 5 → 10 → 30 → 50 → 100\n                          ↓\n                    Prometheus Gate\n                    ↙             ↘\n                 Rollback      Stable Promotion\n\u003c/code\u003e\u003c/pre\u003e\u003cp\u003e核心方法论  BuildOnce, Promote Many；Git is Desired State；Jenkins 做 CI/编排，ArgoCD 做 CD；Readiness 与业务质量分层判断；先止血再排障；HA不等于 Backup/DR。\u003c/p\u003e","title":"基于 Kubernetes 的 DevOps / GitOps 高可用微服务平台"},{"content":"Hello World 这是我的第一篇博客。\n我的博客使用：\nCloudflare Hugo PaperMod GitHub 搭建。\n为什么建立这个博客 主要用于记录自己的学习和生活。\n以后会继续更新。\n","permalink":"https://nativeopslab.com/first_blog_post.html/","summary":"\u003ch2 id=\"hello-world\"\u003eHello World\u003c/h2\u003e\n\u003cp\u003e这是我的第一篇博客。\u003c/p\u003e\n\u003cp\u003e我的博客使用：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eCloudflare\u003c/li\u003e\n\u003cli\u003eHugo\u003c/li\u003e\n\u003cli\u003ePaperMod\u003c/li\u003e\n\u003cli\u003eGitHub\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003e搭建。\u003c/p\u003e\n\u003ch2 id=\"为什么建立这个博客\"\u003e为什么建立这个博客\u003c/h2\u003e\n\u003cp\u003e主要用于记录自己的学习和生活。\u003c/p\u003e\n\u003cp\u003e以后会继续更新。\u003c/p\u003e","title":"我的第一篇博客"},{"content":"关于我 欢迎来到我的个人博客。\n这里主要记录：\n技术 学习笔记 Cloudflare 编程 生活 一些自己的想法 ","permalink":"https://nativeopslab.com/about/","summary":"\u003ch2 id=\"关于我\"\u003e关于我\u003c/h2\u003e\n\u003cp\u003e欢迎来到我的个人博客。\u003c/p\u003e\n\u003cp\u003e这里主要记录：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e技术\u003c/li\u003e\n\u003cli\u003e学习笔记\u003c/li\u003e\n\u003cli\u003eCloudflare\u003c/li\u003e\n\u003cli\u003e编程\u003c/li\u003e\n\u003cli\u003e生活\u003c/li\u003e\n\u003cli\u003e一些自己的想法\u003c/li\u003e\n\u003c/ul\u003e","title":"关于我"},{"content":"NativeOps Lab 是一个持续记录真实学习、实验和故障排查过程的个人技术博客，主要分享 Linux、Kubernetes、DevOps、Go 和云原生相关内容。\n博客公开的技术文章与实验记录免费阅读。 如果其中的内容帮助你解决了问题，欢迎通过 CyberBowl 自愿赞助；不赞助也不会影响阅读、使用或分享本站的公开内容。\n为什么接受赞助 维护博客和技术实验环境会产生一定的持续成本。收到的赞助主要用于以下用途：\n云服务器、网络、域名和网站运维。 Kubernetes、容器、监控和自动化工具等实验环境。 技术内容整理、文档制作与网站功能改进。 赞助是对个人创作的自愿支持，不对应特定商品、技术服务、会员权益或收益承诺。\n如何赞助 请通过独立的 CyberBowl 赞助页面选择支持方式及金额：\n进入 CyberBowl 赞助站\n目前计划提供以下方式，具体以赞助站实际显示为准：\n赞助方式 网站设置的起始金额 确认方式 微信支付 人民币 0.01 元 站长人工核对 支付宝 人民币 0.01 元 站长人工核对 USDT（Polygon 网络） 0.10 USDT 核对链上交易 USDT（BNB Smart Chain / BEP20） 0.10 USDT 核对链上交易 请注意：网站显示的最低金额不代表支付平台或钱包一定支持该金额。转账前请核实实际最低限额、网络手续费以及所在地区的相关规则。\n付款与订单说明 在 CyberBowl 中选择赞助方式并填写金额，按照页面提示创建订单。 核对收款二维码或钱包地址、币种、区块链网络和金额后，再自行完成付款。 按照订单页面提示提交可供核对的信息；USDT 转账须提供真实的交易哈希（TxID）。 站长核对实际到账记录后，才会将订单标记为已确认。 本站不提供自动到账确认。 创建订单、提交交易哈希或显示付款页面，并不表示资金已经收到。\nUSDT 转账尤其需要确认网络和地址。选择错误的网络、代币或收款地址，可能造成无法找回的损失。请不要向本站提供钱包私钥、助记词、支付密码、短信验证码等敏感信息。\n功德簿与感谢记录 CyberBowl 中的功德簿和施主榜用于表达感谢。已经核对的赞助记录，可能按照站点规则显示昵称、留言及相关金额信息。\n请勿在公开昵称或留言中填写电话号码、身份证件号码、私人邮箱、完整交易账户等个人敏感信息。\n站内的钢镚、等级、经验值等属于趣味展示，不具有现金价值，不能兑换法定货币或投资收益。\n退款与异常处理 如遇到重复付款、金额错误、收款信息异常或订单未更新，请先保留订单编号和必要的付款凭证，并通过本站公布的联系渠道与站长沟通。\n处理方式需要根据实际交易状态、支付渠道规则及适用法律确定。区块链转账一经确认通常不可直接撤销，因此付款前务必仔细检查。\n重要声明 赞助完全自愿，不是购买技术服务，也不是投资或理财。 NativeOps Lab 是个人技术博客，并非慈善组织；本站赞助不属于公益慈善捐赠。 本站不承诺任何经济回报、推广收益、会员资格或其他付费权益。 支付信息、最低转账额度与平台规则，均以实际支付页面和对应服务提供方的最新说明为准。 博客的公开技术文章不因是否赞助而区别对待读者。 感谢你的支持 感谢每一位阅读文章、分享链接、提出建议和帮助改进内容的朋友。\n即使不进行赞助，你的阅读与交流也是对 NativeOps Lab 的支持。\n持续学习，认真实验，记录真实的技术实践。\n返回博客首页 | 前往 CyberBowl 赞助站\n","permalink":"https://nativeopslab.com/support/","summary":"\u003cp\u003eNativeOps Lab 是一个持续记录真实学习、实验和故障排查过程的个人技术博客，主要分享 Linux、Kubernetes、DevOps、Go 和云原生相关内容。\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003e博客公开的技术文章与实验记录免费阅读。\u003c/strong\u003e 如果其中的内容帮助你解决了问题，欢迎通过 CyberBowl 自愿赞助；不赞助也不会影响阅读、使用或分享本站的公开内容。\u003c/p\u003e\n\u003ch2 id=\"为什么接受赞助\"\u003e为什么接受赞助\u003c/h2\u003e\n\u003cp\u003e维护博客和技术实验环境会产生一定的持续成本。收到的赞助主要用于以下用途：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e云服务器、网络、域名和网站运维。\u003c/li\u003e\n\u003cli\u003eKubernetes、容器、监控和自动化工具等实验环境。\u003c/li\u003e\n\u003cli\u003e技术内容整理、文档制作与网站功能改进。\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003e赞助是对个人创作的自愿支持，不对应特定商品、技术服务、会员权益或收益承诺。\u003c/p\u003e\n\u003ch2 id=\"如何赞助\"\u003e如何赞助\u003c/h2\u003e\n\u003cp\u003e请通过独立的 CyberBowl 赞助页面选择支持方式及金额：\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003e\u003ca href=\"https://geita.top/\"\u003e进入 CyberBowl 赞助站\u003c/a\u003e\u003c/strong\u003e\u003c/p\u003e\n\u003cp\u003e目前计划提供以下方式，具体以赞助站实际显示为准：\u003c/p\u003e\n\u003ctable\u003e\n\t\u003cthead\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003cth\u003e赞助方式\u003c/th\u003e\n\t\t\t\t\t\u003cth\u003e网站设置的起始金额\u003c/th\u003e\n\t\t\t\t\t\u003cth\u003e确认方式\u003c/th\u003e\n\t\t\t\u003c/tr\u003e\n\t\u003c/thead\u003e\n\t\u003ctbody\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e微信支付\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e人民币 0.01 元\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e站长人工核对\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003e支付宝\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e人民币 0.01 元\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e站长人工核对\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eUSDT（Polygon 网络）\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e0.10 USDT\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e核对链上交易\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\t\t\u003ctr\u003e\n\t\t\t\t\t\u003ctd\u003eUSDT（BNB Smart Chain / BEP20）\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e0.10 USDT\u003c/td\u003e\n\t\t\t\t\t\u003ctd\u003e核对链上交易\u003c/td\u003e\n\t\t\t\u003c/tr\u003e\n\t\u003c/tbody\u003e\n\u003c/table\u003e\n\u003cp\u003e请注意：网站显示的最低金额不代表支付平台或钱包一定支持该金额。转账前请核实实际最低限额、网络手续费以及所在地区的相关规则。\u003c/p\u003e\n\u003ch2 id=\"付款与订单说明\"\u003e付款与订单说明\u003c/h2\u003e\n\u003col\u003e\n\u003cli\u003e在 CyberBowl 中选择赞助方式并填写金额，按照页面提示创建订单。\u003c/li\u003e\n\u003cli\u003e核对收款二维码或钱包地址、币种、区块链网络和金额后，再自行完成付款。\u003c/li\u003e\n\u003cli\u003e按照订单页面提示提交可供核对的信息；USDT 转账须提供真实的交易哈希（TxID）。\u003c/li\u003e\n\u003cli\u003e站长核对实际到账记录后，才会将订单标记为已确认。\u003c/li\u003e\n\u003c/ol\u003e\n\u003cp\u003e\u003cstrong\u003e本站不提供自动到账确认。\u003c/strong\u003e 创建订单、提交交易哈希或显示付款页面，并不表示资金已经收到。\u003c/p\u003e\n\u003cp\u003eUSDT 转账尤其需要确认网络和地址。选择错误的网络、代币或收款地址，可能造成无法找回的损失。请不要向本站提供钱包私钥、助记词、支付密码、短信验证码等敏感信息。\u003c/p\u003e\n\u003ch2 id=\"功德簿与感谢记录\"\u003e功德簿与感谢记录\u003c/h2\u003e\n\u003cp\u003eCyberBowl 中的功德簿和施主榜用于表达感谢。已经核对的赞助记录，可能按照站点规则显示昵称、留言及相关金额信息。\u003c/p\u003e\n\u003cp\u003e请勿在公开昵称或留言中填写电话号码、身份证件号码、私人邮箱、完整交易账户等个人敏感信息。\u003c/p\u003e\n\u003cp\u003e站内的钢镚、等级、经验值等属于趣味展示，不具有现金价值，不能兑换法定货币或投资收益。\u003c/p\u003e\n\u003ch2 id=\"退款与异常处理\"\u003e退款与异常处理\u003c/h2\u003e\n\u003cp\u003e如遇到重复付款、金额错误、收款信息异常或订单未更新，请先保留订单编号和必要的付款凭证，并通过本站公布的联系渠道与站长沟通。\u003c/p\u003e\n\u003cp\u003e处理方式需要根据实际交易状态、支付渠道规则及适用法律确定。区块链转账一经确认通常不可直接撤销，因此付款前务必仔细检查。\u003c/p\u003e","title":"赞助说明"}]