1. 项目摘要
本项目围绕一套真实可运行的 Kubernetes 实验平台,逐步完成容器网络、裸金属 LoadBalancer、Gateway API、持久化存储、数据库与缓存高可用、Prometheus生态、VictoriaMetrics、自定义业务指标 HPA、GitLab/Jenkins/Harbor/ArgoCD、DEV/TEST/PROD 多环境、BuildOnce Promote Many、Canary 渐进式发布、Prometheus Gate、自动回滚、故障演练与高可用封板。
项目的重点不是“安装了多少组件”,而是把源码、制品、声明式配置、业务流量、监控指标、恢复机制和权限边界串成一条可以解释和验证的生产闭环。
Developer / Git Push
↓
GitLab
↓
Jenkins CI
Test / BuildKit / Image
↓
Harbor (immutable Git SHA)
↓
GitOps Repository
↓
ArgoCD
↓
DEV → TEST → TEST Approved → PROD Canary
↓
5 → 10 → 30 → 50 → 100
↓
Prometheus Gate
↙ ↘
Rollback Stable Promotion
核心方法论 BuildOnce, Promote Many;Git is Desired State;Jenkins 做 CI/编排,ArgoCD 做 CD;Readiness 与业务质量分层判断;先止血再排障;HA不等于 Backup/DR。
2.总体架构与数据流
2.1 CI/CD 与 GitOps 控制链:
Developer / Git Push
↓
GitLab
↓
Jenkins CI
Test / BuildKit / Image
↓
Harbor (immutable Git SHA)
↓
GitOps Repository
↓
ArgoCD
↓
DEV → TEST → TEST Approved → PROD Canary
↓
5 → 10 → 30 → 50 → 100
↓
Prometheus Gate
↙ ↘
Rollback Stable Promotion
2.2 PROD 流量链:
Client
↓
MetalLB LoadBalancer IP
↓
Cilium Gateway (192.168.6.67)
↓
HTTPRoute
├─ springboot-demo Stable
└─ springboot-demo-canary Canary
↓
SpringBoot Pods
2.3 数据与可观测链:
SpringBoot → MaxScale ×2 → MariaDB Galera ×3
└───────────────→ Redis×3 + Sentinel ×3
SpringBoot /actuator/prometheus
↓
Prometheus
↙ ↓ ↘
Grafana Alertmanager VictoriaMetrics
↓
Prometheus Adapter → Custom Metrics API → HPA



网络、发布、数据和监控不是彼此孤立的组件,而是在故障演练中互相验证:例如 Canary Pod Ready 但业务 500,需要Prometheus 业务指标判定;HPA 指标丢失需要从 Custom Metrics 反向定位到 Prometheus/ServiceMonitor;Stablerollout 失败又需要 Jenkins/ArgoCD/Gateway 共同完成止损。
3.Kubernetes集群与基础设施
节点范围为 h11-h25,共 15 个节点;h11/h12/h13 为 Control Plane,其余为 Worker,当时 h14 处于Ready,SchedulingDisabled。节点操作系统以 Rocky Linux 9.8 为主,Kubernetes 版本 v1.28.15


4.Cilium、MetalLB 与 Gateway API
项目从传统简单 CNI 思路演进到 Cilium,核心原因不是“追新技术”,而是实际需要 eBPF、kube-proxyreplacement、NetworkPolicy、L7、Hubble 可观测以及 Gateway API 流量治理。
4.1 Cilium native routing +autoDirectNodeRoutes,Pod 网段 10.244.0.0/16。
4.2 Hubble Relay/UI/metrics 用于网络可观测。
4.3 MetalLB 为自建虚拟化环境分配 LoadBalancerIP。
4.4 PROD Gateway 代表性地址 192.168.6.67,Programmed=True。
4.5 HTTPRoute 支持 Stable/CanarybackendRefs weight,成为渐进式发布的核心流量控制点。
旧 Ingress 在迁移期间保留为回退入口,避免一次性切换增加风险
5.持久化存储与数据保护

5.1 Redis 迁移的工程原则
5.2 先确认备份可读:RDB 校验成功;AOF 检查错误后使用 redis-check-aof 修复。
5.3 创建新 PVC/迁移 Pod,不直接删除旧卷。
5.4 通过 REPLICAOF 建立复制,观察 master_link_status。
5.5 对比 DBSIZE、Keyspace、过期键,并进行真实写入/删除测试。
5.6 新存储验证完成后再进行正式切换与旧资源回收。
数据原则 副本不是备份,HA 不是 DR。存储迁移中最重要的是“先保护数据,再改变架构”。
6.MariaDB Galera + MaxScale
数据库采用 3 节点 MariaDB Galera + 2 副本 MaxScale。应用只连接 MaxScale 服务,后端数据库关注Galera Primary Component、Synced 状态和集群规模。

典型检查包括 wsrep_cluster_size、wsrep_cluster_status、wsrep_local_state_comment、wsrep_ready。实验中也遇到过MaxScale 连接、MariaDB 启动/同步、权限等问题,排障顺序固定为:应用配置 → DNS/Service → MaxScale → 数据库成员状态。
7.Redis+ Sentinel
Redis 实验覆盖主从复制、Sentinel 故障切换、RDB/AOF、数据迁移与恢复。项目明确区分“Redis 自动切主”和“数据零丢失”:Sentinel解决可用性问题,但异步复制窗口仍然需要在生产 RPO 设计中评估。
8.可观测性体系

8.1 Prometheus WAL read-only 故障
Prometheus 曾从 WAL 层开始出现 read-only filesystem,采集、规则和写入都受到影响。这个故障把“监控平台是否可用”从旁支问题变成了生产发布链路的一部分:CanaryGate、HPA Custom Metrics、告警都依赖指标系统。
8.2 排查不能只重启 Prometheus。
8.3 需要同时检查 Pod 日志、PVC/PV、底层节点文件系统和挂载状态。
8.4 发布 Gate 对指标不可用应采取 Fail Closed,而不是继续放量。
9. Prometheus Adapter + 业务 QPS HPA
自定义指标链路将 SpringBoot 的 HTTP Counter 通过 Prometheus/Adapter 转换为`http_requests_per_second`,由 autoscaling/v2 HPA 使用 Pods/AverageValue 驱动扩缩容。
SpringBoot /actuator/prometheus
↓
Prometheus: rate(http_server_requests_seconds_count\[1m])
↓
Prometheus Adapter
↓
custom.metrics.k8s.io
↓
http_requests_per_second
↓
HPA (target ≈ 5 QPS / Pod)
10.GitLab / Jenkins / Harbor / ArgoCD

权限原则 Jenkins 负责“生成制品并修改 Git”,ArgoCD 负责“把 Git 变成集群状态”。这样生产变更具备审计、回滚、漂移检测和更清晰的最小权限边界。
11. GitOps 仓库结构与多环境

demo 保留为实验/故障/Canary 沙箱;正式 DEV/TEST/PROD 采用 Helm Chart + 环境 values。PROD 在相同 Chart 上启用 Canary Deployment/Service/HPA/Gateway/HTTPRoute,实现模板复用与环境差异收敛。
springboot-gitops/
├─ apps/springboot-demo/ # demo / Kustomize lab
├─ argocd/applications/
├─ charts/springboot-demo/
│ └─ templates/
│ ├─ deployment.yaml
│ ├─ deployment-canary.yaml
│ ├─ service*.yaml
│ ├─ hpa*.yaml
│ ├─ gateway.yaml
│ └─ httproute.yaml
├─ environments/
│ ├─ dev/values.yaml
│ ├─ test/values.yaml
│ └─ prod/values.yaml
└─ scripts/set-canary-*.sh
12. ArgoCD 四环境健康状态

这一状态非常关键:它说明 HPA/ServiceMonitor/Helm 等正式多环境资源在 Git Desired State 与集群 Live State 之间实现了健康收敛。后续故障演练中也利用 ArgoCD SelfHeal 验证人工漂移恢复。
13.Build Once, Promote Many
项目最终禁止按环境重复构建。CI 只产生一次 Git SHA 不可变镜像;后续 DEV → TEST → PROD 只修改环境声明并提升同一个制品。这样把“代码一致”提升为“制品一致”。
Source Commit
↓
Image : <git-sha>
↓
DEV : same image
↓
TEST : same image
↓
TEST Approved Release State
↓
PROD Canary : same image
##### 13.1 Jenkins promote 成功证据

截图明确输出 No rebuild occurred. The exact same immutable image was promoted.。这一步把多环境发布从“概念”变成可审计流水线。
14.TEST Approved 与 Release State
为了避免 PROD Pipeline 由人工随意输入 Tag,项目把 TEST 验证结果写入 release-state,并由 PROD Canary Pipeline 消费。此处曾出现“顶层 release-state.env 与 environments/prod/release-state.env 路径不一致”的问题,最终统一职责和读写位置。

15.PROD Canary 设计
Cilium HTTPRoute
│
┌────────────┴────────────┐
↓ ↓
Stable Service Canary Service
springboot-demo springboot-demo-canary
↓ ↓
Stable Deployment Canary Deployment
min 3 / max 8 min 1 / max 8
PROD Canary 使用 Gateway API 原生 backendRefs.weight,在同一 HTTPRoute 中做 5% → 10% → 30% → 50% → 100% 渐进式放量。每个阶段都需要可观测 Gate 才能继续。

16. “Pod Ready 但业务 500”为什么重要
坏版本 ed05520e 是项目最有价值的故障案例之一:SpringBoot 进程正常、Readiness/Actuator 正常、Prometheus Target 正常,但核心业务 / 返回 HTTP 500
##关键结论 Kubernetes Ready 只能证明“满足就绪条件”,不能证明“核心业务正确”。所以 Canary Gate 必须使用业务 QPS/5xx 等指标,而不是只看 Probe。
Infrastructure health
Pod Running / Ready = true
Actuator health = UP
Prometheus up = 1
Business health
GET / = HTTP 500
=> Release Gate must evaluate business metrics
17.Jenkins Canary Pipeline 工程化
17.1 支持 5/10/30/50/100% 分阶段 Gate 与人工审批。
17.2 支持断点续跑:根据当前 HTTPRoute 权重判断恢复点。
17.3 失败时先将流量恢复 Stable 100/Canary 0。
17.4 最终 Stable Promotion 失败时采用“两阶段回滚”:先保证业务承载,再恢复 previous Stable,Ready 后再切流量。
17.5 Git fetch/push 增加重试、SSH keepalive、远端 commit 存在性判断、rebase 后重试。
17.6 处理过 Declarative stage 层级/花括号、Agent bash 缺失、release-state 路径等工程问题
18.代表性故障与排障方法

19.安全治理与生产权限边界
19.1 Namespace 隔离与 Default Deny NetworkPolicy。
19.2 按真实调用链放通 DNS、应用、MaxScale/数据库等必要流量。
19.3 Cilium L7 Policy 用于七层网络策略实验。
19.4 RBAC 最小权限;Jenkins ServiceAccount 不应成为生产万能管理员。
19.5 ConfigMap 与 Secret 分离;敏感信息不硬编码进镜像。
19.6 镜像使用 Git SHA,不使用 latest。
19.7 GitOps 作为生产变更主路径,保留审计与回滚。
这套权限边界的重点不是“完全禁止 kubectl”,而是把 kubectl 直接修改 PROD 定义为应急/故障演练路径;正常发布必须通过 Git 进入 ArgoCD。
20.总结架构流程图
20.1 底层平台是 Rocky Linux → containerd → Kubernetes → Cilium → MetalLB → Storage;
20.2 运行平台是 MariaDB/MaxScale + Redis/Sentinel + Monitoring/Logging/Tracing;
20.3 交付主线是 GitLab → Jenkins → BuildKit → Harbor → GitOps → ArgoCD → DEV → TEST → PROD Canary → Stable/Rollback;
20.4 最后由 HPA、安全治理、故障恢复和 HA 围绕业务形成运行闭环。
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ Kubernetes DevOps / GitOps 高可用微服务平台 · 总架构主流程图 │
└────────────────────────────────────────────────────────────────────────────────────────────┘
┌───────────────────────┐
│ Developer │
│ Java / SpringBoot │
└───────────┬───────────┘
│
git push
│
▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ SOURCE CONTROL │
│ │
│ GitLab │
│ ┌─────────────────┴─────────────────┐ │
│ │ │ │
│ ▼ ▼ │
│ Source Repository GitOps Repository │
│ springboot-demo springboot-gitops │
│ ├─ src/ ├─ charts/ │
│ ├─ pom.xml ├─ environments/ │
│ ├─ Dockerfile │ ├─ dev/ │
│ └─ Jenkinsfile │ ├─ test/ │
│ │ └─ prod/ │
│ └─ argocd/applications/ │
└───────────────────────────────────┬────────────────────────────────────────────────────────┘
│
│ SCM / Trigger
▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ CI / DEVSECOPS │
│ │
│ Jenkins │
│ │ │
│ Kubernetes Dynamic Agent │
│ │ │
│ ┌────────────────────┼────────────────────┐ │
│ │ │ │ │
│ ▼ ▼ ▼ │
│ Checkout Maven Test Security / Quality │
│ │ │ │
│ │ ┌────────────┼────────────┐ │
│ │ │ │ │ │
│ │ ▼ ▼ ▼ │
│ │ SonarQube Semgrep Trivy │
│ │ │ │
│ │ Quality Gate │
│ └────────────────────┬────┴────────────────────────────────────────────┘
│ │ │
│ ▼ │
│ Maven Package │
│ │ │
│ ▼ │
│ Git Commit SHA │
│ 例如 f68c7385 │
│ │ │
│ ▼ │
│ BuildKit │
└─────────────────────────────────────────┬──────────────────────────────────────────────────┘
│
│ build + push
▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ IMMUTABLE ARTIFACT │
│ │
│ Harbor │
│ │
│ harbor.demo.com/springboot/springboot-demo:<GIT-SHA> │
│ │
│ 例:springboot-demo:f68c7385 │
│ │
│ Source SHA = Image Tag │
│ │
│ 禁止 latest · Build Once │
└─────────────────────────────────────────┬──────────────────────────────────────────────────┘
│
│ Jenkins 修改 Git
▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ GITOPS │
│ │
│ Jenkins │
│ │ │
│ └──── 修改 environments/*/values.yaml │
│ │ │
│ ▼ │
│ git commit │
│ │ │
│ ▼ │
│ git push │
│ │ │
│ ▼ │
│ GitLab │
│ │ │
│ ▼ │
│ ArgoCD │
│ ┌─────────┼───────────────┐ │
│ │ │ │ │
│ ▼ ▼ ▼ │
│ AutoSync Prune SelfHeal │
│ │ │
│ ▼ │
│ Git Desired State ───────────────→ Kubernetes Live State │
│ │
│ 正常生产路径:Jenkins → Git → ArgoCD → Kubernetes │
│ 而不是 Jenkins → kubectl patch PROD │
└─────────────────────────────────────────┬──────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────┐
│ MULTI-ENV DELIVERY │
└───────────────┬─────────────────┘
│
▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ DEV │
│ │
│ environments/dev/values.yaml │
│ │ │
│ ▼ │
│ ArgoCD springboot-dev │
│ │ │
│ ▼ │
│ Deployment / Service │
│ │ │
│ ▼ │
│ Readiness / Liveness │
│ │ │
│ ▼ │
│ Metrics / Business Test │
│ │ │
│ DEV 验证通过 │
└──────────────────────────────────┬─────────────────────────────────────────────────────────┘
│
│ springboot-demo-promote
▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ DEV → TEST PROMOTION │
│ │
│ 读取 DEV Desired Image │
│ │ │
│ ▼ │
│ 验证 DEV Live Image 一致 │
│ │ │
│ ▼ │
│ 校验 Tag = Immutable Git SHA │
│ │ │
│ ▼ │
│ Manual Approval │
│ │ │
│ ▼ │
│ environments/test/values.yaml │
│ │ │
│ 只修改 image.tag │
│ │ │
│ ★ NO REBUILD ★ │
│ │ │
│ ▼ │
│ ArgoCD springboot-test │
│ │ │
│ ▼ │
│ TEST Rollout │
│ │ │
│ ▼ │
│ 验证 TEST Live Image = DEV Image │
│ │ │
│ ▼ │
│ TEST APPROVED │
└──────────────────────────────────┬─────────────────────────────────────────────────────────┘
│
▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ RELEASE HANDOFF │
│ │
│ release-state.env │
│ │
│ APP_NAME=springboot-demo │
│ APPROVED_ENV=test │
│ IMAGE_REPOSITORY=... │
│ IMAGE_TAG=<git-sha> │
│ APPROVED=true │
│ BUILD_NUMBER=... │
│ TIME=... │
│ │
│ TEST → PROD 的正式审批凭据 │
└──────────────────────────────────┬─────────────────────────────────────────────────────────┘
│
│ springboot-canary-release
▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ PROD PRE-CHECK │
│ │
│ 读取 TEST Approved Release │
│ │ │
│ ┌─────────────────────┼──────────────────────────┐ │
│ ▼ ▼ ▼ │
│ APPROVED=true? IMAGE_TAG=SHA? Repository 是否正确? │
│ │ │ │ │
│ └─────────────────────┼──────────────────────────┘ │
│ │ │
│ ▼ │
│ TEST Git Tag 校验 │
│ │ │
│ ▼ │
│ TEST Live Image 校验 │
│ │ │
│ ┌────────────┴────────────┐ │
│ │ │ │
│ FAIL PASS │
│ │ │ │
│ ▼ ▼ │
│ FAIL CLOSED 允许进入 PROD │
└───────────────────────────────────────────────┬────────────────────────────────────────────┘
│
▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ PROD CANARY │
│ │
│ Cilium Gateway │
│ │ │
│ ▼ │
│ HTTPRoute │
│ │ │
│ ┌───────────────┴───────────────┐ │
│ │ │ │
│ ▼ ▼ │
│ Stable Canary │
│ Deployment × N Deployment × N │
│ │ │ │
│ ▼ ▼ │
│ Stable Service Canary Service │
│ │ │ │
│ ▼ ▼ │
│ Stable HPA Canary HPA │
│ min=3 max=8 min=1 max=8 │
│ │ │ │
│ └──────────────┬────────────────┘ │
│ │ │
│ ▼ │
│ HTTPRoute Weight │
└─────────────────────────────────────┬──────────────────────────────────────────────────────┘
│
▼
Candidate Prepare
│
▼
Canary Image Update
│
▼
Weight = 0%
│
▼
Canary Pod Ready
│
▼
Canary Endpoint Ready
│
▼
Warmup
│
▼
Prometheus Metrics Ready
│
▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ PROGRESSIVE DELIVERY │
│ │
│ Stable 95 / Canary 5 │
│ │ │
│ ▼ │
│ Prometheus Gate │
│ │ │
│ ┌────────┴────────┐ │
│ PASS FAIL │
│ │ │ │
│ ▼ └────────────────────────────┐ │
│ Manual Approval │ │
│ │ │ │
│ ▼ │ │
│ 10% │ │
│ │ │ │
│ ▼ │ │
│ Prometheus Gate │ │
│ │ │ │
│ ▼ │ │
│ 30% │ │
│ │ │ │
│ ▼ │ │
│ Prometheus Gate │ │
│ │ │ │
│ ▼ │ │
│ 50% │ │
│ │ │ │
│ ▼ │ │
│ Prometheus Gate │ │
│ │ │ │
│ ▼ │ │
│ 100% │ │
│ │ │ │
│ ▼ │ │
│ Final Candidate Gate │ │
│ │ │ │
│ ┌─────┴─────┐ │ │
│ PASS FAIL ────────────────────────────────────┘ │
│ │ │
└───────────────────┼──────────────────────────────────────────────────────────────────────────┘
│
│
┌───────────┴─────────────────────┐
│ │
▼ ▼
┌──────────────────────────┐ ┌────────────────────────────────────────────┐
│ STABLE PROMOTION │ │ ROLLBACK │
│ │ │ │
│ Canary 已通过100% Gate │ │ 任意 Canary Gate FAIL │
│ │ │ │ │ │
│ ▼ │ │ ▼ │
│ 记录 OLD_STABLE_TAG │ │ GitOps canary.weight=0 │
│ │ │ │ │ │
│ ▼ │ │ ▼ │
│ Candidate → Stable │ │ git push │
│ │ │ │ │ │
│ ▼ │ │ ▼ │
│ Git Commit / Push │ │ ArgoCD │
│ │ │ │ │ │
│ ▼ │ │ ▼ │
│ ArgoCD │ │ HTTPRoute │
│ │ │ │ │ │
│ ▼ │ │ ▼ │
│ Stable RollingUpdate │ │ Stable 100 / Canary 0 │
│ │ │ │ │ │
│ ▼ │ │ ▼ │
│ Wait Ready │ │ Business Verify │
│ │ │ │ │ │
│ ▼ │ │ ▼ │
│ Image Verify │ │ Pipeline FAIL │
│ Endpoint Verify │ │ │
│ Business Verify │ │ “发布失败,但生产流量安全” │
│ │ │ └────────────────────────────────────────────┘
│ ▼ │
│ Stable 100 │
│ Canary 0 │
│ │ │
│ ▼ │
│ RELEASE SUCCESS │
└──────────┬───────────────┘
│
▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ PROD RELEASE STATE │
│ │
│ environments/prod/release-state.env │
│ │
│ PREVIOUS_STABLE_TAG │
│ CURRENT_STABLE_TAG │
│ CANDIDATE_TAG │
│ PROMOTION_BUILD │
│ PROMOTION_TIME │
│ │
│ 为最终 Promotion / Emergency Rollback 提供审计 │
└──────────────────────────────────┬─────────────────────────────────────────────────────────┘
│
▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ PRODUCTION TRAFFIC │
│ │
│ Client │
│ │ │
│ ▼ │
│ springboot-prod.demo.com │
│ │ │
│ ▼ │
│ MetalLB VIP │
│ 192.168.6.67 │
│ │ │
│ ▼ │
│ Cilium Gateway │
│ │ │
│ ▼ │
│ HTTPRoute │
│ │ │
│ ┌──────────────────┴──────────────────┐ │
│ ▼ ▼ │
│ Stable Service Canary Service │
│ │ │ │
│ ▼ ▼ │
│ Stable Pods Canary Pods │
│ │ │ │
│ └──────────────────┬──────────────────┘ │
│ │ │
│ ┌────────────┴─────────────┐ │
│ ▼ ▼ │
│ MaxScale Redis │
│ │ │ │
│ ▼ ▼ │
│ MariaDB Galera Sentinel │
│ × 3 × 3 │
└────────────────────────────────────────────────────────────────────────────────────────────┘
╔══════════════════════════════════════╗
║ PARALLEL CONTROL LOOPS ║
╚══════════════════════════════════════╝
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ OBSERVABILITY │
│ │
│ SpringBoot / Kubernetes / Nodes │
│ │ │
│ ▼ │
│ Prometheus │
│ │ │
│ ┌───────┼────────────┬───────────────┬───────────────────────┐ │
│ │ │ │ │ │ │
│ ▼ ▼ ▼ ▼ ▼ │
│ Grafana Alertmanager VictoriaMetrics Prometheus Adapter Release Gate │
│ Long-term │ QPS / 5xx │
│ ▼ │
│ Custom Metrics API │
│ │ │
│ ▼ │
│ http_requests_per_second │
│ │ │
│ ▼ │
│ HPA │
│ │ │
│ ▼ │
│ Deployment Replicas │
│ │
│ 其它:Blackbox / Federation / DNS SD / Pushgateway │
└────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ LOGS / TRACE / NETWORK │
│ │
│ Container Logs ─→ Fluent Bit ─┬─→ Loki ───────────────→ Grafana / LogQL │
│ │ │
│ └─→ Elasticsearch / ECK ─→ Kibana │
│ │
│ SpringBoot ─→ SkyWalking Agent ─→ OAP ─→ Trace │
│ │
│ Cilium ─→ Hubble Relay / UI ─→ Network Flow │
│ │
│ Metrics + Logs + Traces + Network │
└────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ STORAGE │
│ │
│ Kubernetes PVC │
│ │ │
│ ┌───────────────────┼───────────────────┐ │
│ ▼ ▼ ▼ │
│ NFS CSI OpenEBS hostpath OpenEBS Jiva │
│ RWX RWO RWO │
│ │ │
│ WordPress Elasticsearch等 MariaDB / Redis / Monitoring │
│ │
│ 数据迁移原则:Backup → Validate → Replicate → Compare → Switch → Verify │
└────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ SECURITY │
│ │
│ Namespace Isolation │
│ ↓ │
│ Default Deny NetworkPolicy │
│ ↓ │
│ 按业务调用链放通 │
│ ↓ │
│ Cilium L3/L4/L7 Policy │
│ │
│ RBAC → ServiceAccount → Least Privilege │
│ │
│ ConfigMap ≠ Secret │
│ │
│ Jenkins Credentials │
│ ├─ gitlab-deploy-key │
│ ├─ gitops-write-key │
│ └─ harbor-robot │
│ │
│ Immutable Git-SHA Image · 禁止 latest │
│ │
│ Jenkins PROD Kubernetes 权限尽量 Read-Only │
└────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ FAULT RECOVERY │
│ │
│ Fault Injection │
│ │ │
│ ├─ Pod Delete │
│ ├─ CrashLoopBackOff │
│ ├─ Readiness Failure │
│ ├─ HTTP 500 │
│ ├─ Service / Endpoint │
│ ├─ NetworkPolicy │
│ ├─ DNS │
│ ├─ Gateway / HTTPRoute │
│ ├─ HPA / Custom Metrics │
│ ├─ Prometheus │
│ ├─ MariaDB / MaxScale │
│ ├─ Redis │
│ ├─ Jenkins │
│ ├─ ArgoCD │
│ └─ Worker Node │
│ │
│ ▼ │
│ Detect │
│ ↓ │
│ Diagnose │
│ ↓ │
│ Isolate │
│ ↓ │
│ Recover │
│ ↓ │
│ Business Verify │
│ ↓ │
│ T0 / T1 / T2 / T3 │
│ ↓ │
│ MTTD / RTO / RPO │
└────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ HIGH AVAILABILITY │
│ │
│ Kubernetes HA │
│ │ │
│ ┌─────────────────────────┼──────────────────────────┐ │
│ │ │ │ │
│ ▼ ▼ ▼ │
│ Control Plane ×3 Worker Nodes etcd Cluster │
│ │
│ Cilium / MetalLB / Gateway │
│ │
│ MariaDB Galera ×3 ─→ MaxScale ×2 │
│ │
│ Redis ×3 ─→ Sentinel ×3 │
│ │
│ Storage / PVC │
│ │
│ Prometheus / Grafana / Alertmanager │
│ │
│ GitLab / Jenkins / Harbor / ArgoCD │
│ │
│ 单点故障 → 服务继续 → 自动恢复 │
└────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│ PRODUCTION SEAL │
│ │
│ PDB │
│ Pod Distribution / Anti-Affinity / TopologySpread │
│ Requests / Limits │
│ Startup / Readiness / Liveness │
│ HPA │
│ RBAC │
│ NetworkPolicy │
│ Secret │
│ GitOps │
│ Immutable Images │
│ Canary / Rollback │
│ Monitoring / Alert │
│ Storage / Backup Boundary │
│ Fault Recovery │
│ HA Validation │
│ │
│ FINAL ACCEPTANCE │
└───────────────────────────────────┬────────────────────────────────────────────────────────┘
│
▼
╔═══════════════════════╗
║ PROJECT COMPLETE ║
╚═══════════════════════╝
──────────────────────────────────────────────────────────────────────────────────────────────
整个项目的核心闭环
──────────────────────────────────────────────────────────────────────────────────────────────
Source Code
↓
Test / Scan
↓
Build Once
↓
Git-SHA Immutable Image
↓
Harbor
↓
GitOps
↓
DEV
↓
Same Artifact
↓
TEST
↓
TEST Approved
↓
PROD Canary
↓
0 → 5 → 10 → 30 → 50 → 100
↓
Prometheus Business Gate
│
├──────── PASS ────────→ Stable Promotion
│ ↓
│ Stable 100 / Canary 0
│
└──────── FAIL ────────→ GitOps Rollback
↓
Stable 100 / Canary 0
↓
Observability
↓
HPA Auto Scaling
↓
Security Governance
↓
Fault Detection
↓
Automatic / Controlled Recovery
↓
High Availability
↓
Production Seal


