1. 项目摘要

本项目围绕一套真实可运行的 Kubernetes 实验平台,逐步完成容器网络、裸金属 LoadBalancer、Gateway API、持久化存储、数据库与缓存高可用、Prometheus生态、VictoriaMetrics、自定义业务指标 HPA、GitLab/Jenkins/Harbor/ArgoCD、DEV/TEST/PROD 多环境、BuildOnce Promote Many、Canary 渐进式发布、Prometheus Gate、自动回滚、故障演练与高可用封板。

项目的重点不是“安装了多少组件”,而是把源码、制品、声明式配置、业务流量、监控指标、恢复机制和权限边界串成一条可以解释和验证的生产闭环。

Developer / Git Push
        ↓
      GitLab
        ↓
      Jenkins CI
 Test / BuildKit / Image
        ↓
 Harbor (immutable Git SHA)
        ↓
 GitOps Repository
        ↓
       ArgoCD
        ↓
 DEV → TEST → TEST Approved → PROD Canary
                          ↓
                 5 → 10 → 30 → 50 → 100
                          ↓
                    Prometheus Gate
                    ↙             ↘
                 Rollback      Stable Promotion

核心方法论  BuildOnce, Promote Many;Git is Desired State;Jenkins 做 CI/编排,ArgoCD 做 CD;Readiness 与业务质量分层判断;先止血再排障;HA不等于 Backup/DR。

2.总体架构与数据流

2.1 CI/CD 与 GitOps 控制链:
Developer / Git Push
        ↓
      GitLab
        ↓
      Jenkins CI
 Test / BuildKit / Image
        ↓
 Harbor (immutable Git SHA)
        ↓
 GitOps Repository
        ↓
       ArgoCD
        ↓
 DEV → TEST → TEST Approved → PROD Canary
                          ↓
                 5 → 10 → 30 → 50 → 100
                          ↓
                    Prometheus Gate
                    ↙             ↘
                 Rollback      Stable Promotion
2.2 PROD 流量链:
Client
  ↓
MetalLB LoadBalancer IP
  ↓
Cilium Gateway (192.168.6.67)
  ↓
HTTPRoute
  ├─ springboot-demo          Stable
  └─ springboot-demo-canary   Canary
          ↓
      SpringBoot Pods
2.3 数据与可观测链:
SpringBoot → MaxScale ×2 → MariaDB Galera ×3
         └───────────────→ Redis×3 + Sentinel ×3

SpringBoot /actuator/prometheus
          ↓
      Prometheus
     ↙    ↓     ↘
Grafana Alertmanager VictoriaMetrics
          ↓
Prometheus Adapter → Custom Metrics API → HPA

网络、发布、数据和监控不是彼此孤立的组件,而是在故障演练中互相验证:例如 Canary Pod Ready 但业务 500,需要Prometheus 业务指标判定;HPA 指标丢失需要从 Custom Metrics 反向定位到 Prometheus/ServiceMonitor;Stablerollout 失败又需要 Jenkins/ArgoCD/Gateway 共同完成止损。

3.Kubernetes集群与基础设施

节点范围为 h11-h25,共 15 个节点;h11/h12/h13 为 Control Plane,其余为 Worker,当时 h14 处于Ready,SchedulingDisabled。节点操作系统以 Rocky Linux 9.8 为主,Kubernetes 版本 v1.28.15

4.Cilium、MetalLB 与 Gateway API

项目从传统简单 CNI 思路演进到 Cilium,核心原因不是“追新技术”,而是实际需要 eBPF、kube-proxyreplacement、NetworkPolicy、L7、Hubble 可观测以及 Gateway API 流量治理。

4.1 Cilium native routing +autoDirectNodeRoutes,Pod 网段 10.244.0.0/16。
4.2 Hubble Relay/UI/metrics 用于网络可观测。
4.3 MetalLB 为自建虚拟化环境分配 LoadBalancerIP。
4.4 PROD Gateway 代表性地址 192.168.6.67,Programmed=True。
4.5 HTTPRoute 支持 Stable/CanarybackendRefs weight,成为渐进式发布的核心流量控制点。

旧 Ingress 在迁移期间保留为回退入口,避免一次性切换增加风险

5.持久化存储与数据保护

5.1 Redis 迁移的工程原则
5.2 先确认备份可读:RDB 校验成功;AOF 检查错误后使用 redis-check-aof 修复。
5.3 创建新 PVC/迁移 Pod,不直接删除旧卷。
5.5 对比 DBSIZE、Keyspace、过期键,并进行真实写入/删除测试。
5.6 新存储验证完成后再进行正式切换与旧资源回收。

数据原则  副本不是备份,HA 不是 DR。存储迁移中最重要的是“先保护数据,再改变架构”。

6.MariaDB Galera + MaxScale

数据库采用 3 节点 MariaDB Galera + 2 副本 MaxScale。应用只连接 MaxScale 服务,后端数据库关注Galera Primary Component、Synced 状态和集群规模。

典型检查包括 wsrep_cluster_size、wsrep_cluster_status、wsrep_local_state_comment、wsrep_ready。实验中也遇到过MaxScale 连接、MariaDB 启动/同步、权限等问题,排障顺序固定为:应用配置 → DNS/Service → MaxScale → 数据库成员状态。

7.Redis+ Sentinel

Redis 实验覆盖主从复制、Sentinel 故障切换、RDB/AOF、数据迁移与恢复。项目明确区分“Redis 自动切主”和“数据零丢失”:Sentinel解决可用性问题,但异步复制窗口仍然需要在生产 RPO 设计中评估。

8.可观测性体系

8.1 Prometheus WAL read-only 故障

Prometheus 曾从 WAL 层开始出现 read-only filesystem,采集、规则和写入都受到影响。这个故障把“监控平台是否可用”从旁支问题变成了生产发布链路的一部分:CanaryGate、HPA Custom Metrics、告警都依赖指标系统。

8.2 排查不能只重启 Prometheus。
8.3 需要同时检查 Pod 日志、PVC/PV、底层节点文件系统和挂载状态。
8.4 发布 Gate 对指标不可用应采取 Fail Closed,而不是继续放量。

9. Prometheus Adapter + 业务 QPS HPA

自定义指标链路将 SpringBoot 的 HTTP Counter 通过 Prometheus/Adapter 转换为`http_requests_per_second`,由 autoscaling/v2 HPA 使用 Pods/AverageValue 驱动扩缩容。

SpringBoot /actuator/prometheus
        ↓
Prometheus: rate(http_server_requests_seconds_count\[1m])
        ↓
Prometheus Adapter
        ↓
custom.metrics.k8s.io
        ↓
http_requests_per_second
        ↓
HPA (target ≈ 5 QPS / Pod)

10.GitLab / Jenkins / Harbor / ArgoCD

权限原则 Jenkins 负责“生成制品并修改 Git”,ArgoCD 负责“把 Git 变成集群状态”。这样生产变更具备审计、回滚、漂移检测和更清晰的最小权限边界。

11. GitOps 仓库结构与多环境

demo 保留为实验/故障/Canary 沙箱;正式 DEV/TEST/PROD 采用 Helm Chart + 环境 values。PROD 在相同 Chart 上启用 Canary Deployment/Service/HPA/Gateway/HTTPRoute,实现模板复用与环境差异收敛。

springboot-gitops/
├─ apps/springboot-demo/             # demo / Kustomize lab
├─ argocd/applications/
├─ charts/springboot-demo/
│  └─ templates/
│     ├─ deployment.yaml
│     ├─ deployment-canary.yaml
│     ├─ service*.yaml
│     ├─ hpa*.yaml
│     ├─ gateway.yaml
│     └─ httproute.yaml
├─ environments/
│  ├─ dev/values.yaml
│  ├─ test/values.yaml
│  └─ prod/values.yaml
└─ scripts/set-canary-*.sh

12. ArgoCD 四环境健康状态

这一状态非常关键:它说明 HPA/ServiceMonitor/Helm 等正式多环境资源在 Git Desired State 与集群 Live State 之间实现了健康收敛。后续故障演练中也利用 ArgoCD SelfHeal 验证人工漂移恢复。

13.Build Once, Promote Many

项目最终禁止按环境重复构建。CI 只产生一次 Git SHA 不可变镜像;后续 DEV → TEST → PROD 只修改环境声明并提升同一个制品。这样把“代码一致”提升为“制品一致”。

Source Commit
    ↓
Image : <git-sha>
    ↓
DEV   : same image
    ↓
TEST  : same image
    ↓
TEST Approved Release State
    ↓
PROD Canary : same image

##### 13.1 Jenkins promote 成功证据

截图明确输出 No rebuild occurred. The exact same immutable image was promoted.。这一步把多环境发布从“概念”变成可审计流水线。

14.TEST Approved 与 Release State

为了避免 PROD Pipeline 由人工随意输入 Tag,项目把 TEST 验证结果写入 release-state,并由 PROD Canary Pipeline 消费。此处曾出现“顶层 release-state.env 与 environments/prod/release-state.env 路径不一致”的问题,最终统一职责和读写位置。

15.PROD Canary 设计

         Cilium HTTPRoute
                       │
          ┌────────────┴────────────┐
          ↓                         ↓
   Stable Service              Canary Service
   springboot-demo             springboot-demo-canary
          ↓                         ↓
   Stable Deployment           Canary Deployment
   min 3 / max 8              min 1 / max 8

PROD Canary 使用 Gateway API 原生 backendRefs.weight,在同一 HTTPRoute 中做 5% → 10% → 30% → 50% → 100% 渐进式放量。每个阶段都需要可观测 Gate 才能继续。

16. “Pod Ready 但业务 500”为什么重要

坏版本 ed05520e 是项目最有价值的故障案例之一:SpringBoot 进程正常、Readiness/Actuator 正常、Prometheus Target 正常,但核心业务 / 返回 HTTP 500 ##关键结论 Kubernetes Ready 只能证明“满足就绪条件”,不能证明“核心业务正确”。所以 Canary Gate 必须使用业务 QPS/5xx 等指标,而不是只看 Probe。

Infrastructure health
  Pod Running / Ready = true
  Actuator health     = UP
  Prometheus up       = 1

Business health
  GET /               = HTTP 500

=> Release Gate must evaluate business metrics

17.Jenkins Canary Pipeline 工程化

17.1 支持 5/10/30/50/100% 分阶段 Gate 与人工审批。
17.2 支持断点续跑:根据当前 HTTPRoute 权重判断恢复点。
17.3 失败时先将流量恢复 Stable 100/Canary 0。
17.4 最终 Stable Promotion 失败时采用“两阶段回滚”:先保证业务承载,再恢复 previous Stable,Ready 后再切流量。
17.5 Git fetch/push 增加重试、SSH keepalive、远端 commit 存在性判断、rebase 后重试。
17.6 处理过 Declarative stage 层级/花括号、Agent bash 缺失、release-state 路径等工程问题

18.代表性故障与排障方法

19.安全治理与生产权限边界

19.1 Namespace 隔离与 Default Deny NetworkPolicy。
19.2 按真实调用链放通 DNS、应用、MaxScale/数据库等必要流量。
19.3 Cilium L7 Policy 用于七层网络策略实验。
19.4 RBAC 最小权限;Jenkins ServiceAccount 不应成为生产万能管理员。
19.5 ConfigMap 与 Secret 分离;敏感信息不硬编码进镜像。
19.6 镜像使用 Git SHA,不使用 latest。
19.7 GitOps 作为生产变更主路径,保留审计与回滚。

这套权限边界的重点不是“完全禁止 kubectl”,而是把 kubectl 直接修改 PROD 定义为应急/故障演练路径;正常发布必须通过 Git 进入 ArgoCD。

20.总结架构流程图

20.1 底层平台是 Rocky Linux → containerd → Kubernetes → Cilium → MetalLB → Storage;

20.2 运行平台是 MariaDB/MaxScale + Redis/Sentinel + Monitoring/Logging/Tracing;

20.3 交付主线是 GitLab → Jenkins → BuildKit → Harbor → GitOps → ArgoCD → DEV → TEST → PROD Canary → Stable/Rollback;

20.4 最后由 HPA、安全治理、故障恢复和 HA 围绕业务形成运行闭环。

kubernetes_devops_gitops_high_availability_architecture

┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                Kubernetes DevOps / GitOps 高可用微服务平台 · 总架构主流程图                 │
└────────────────────────────────────────────────────────────────────────────────────────────┘


                                     ┌───────────────────────┐
                                     │       Developer       │
                                     │  Java / SpringBoot    │
                                     └───────────┬───────────┘
                                                 │
                                              git push
                                                 │
                                                 ▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                      SOURCE CONTROL                                        │
│                                                                                            │
│                                         GitLab                                             │
│                         ┌─────────────────┴─────────────────┐                               │
│                         │                                   │                               │
│                         ▼                                   ▼                               │
│                 Source Repository                    GitOps Repository                      │
│                 springboot-demo                     springboot-gitops                      │
│                 ├─ src/                             ├─ charts/                             │
│                 ├─ pom.xml                          ├─ environments/                       │
│                 ├─ Dockerfile                       │  ├─ dev/                             │
│                 └─ Jenkinsfile                      │  ├─ test/                            │
│                                                    │  └─ prod/                            │
│                                                    └─ argocd/applications/                │
└───────────────────────────────────┬────────────────────────────────────────────────────────┘
                                    │
                                    │ SCM / Trigger
                                    ▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                    CI / DEVSECOPS                                           │
│                                                                                            │
│                                      Jenkins                                               │
│                                         │                                                  │
│                              Kubernetes Dynamic Agent                                      │
│                                         │                                                  │
│                    ┌────────────────────┼────────────────────┐                             │
│                    │                    │                    │                             │
│                    ▼                    ▼                    ▼                             │
│               Checkout              Maven Test        Security / Quality                  │
│                    │                                      │                               │
│                    │                         ┌────────────┼────────────┐                  │
│                    │                         │            │            │                  │
│                    │                         ▼            ▼            ▼                  │
│                    │                     SonarQube     Semgrep        Trivy                │
│                    │                         │                                            │
│                    │                    Quality Gate                                      │
│                    └────────────────────┬────┴────────────────────────────────────────────┘
│                                         │                                                  │
│                                         ▼                                                  │
│                                  Maven Package                                             │
│                                         │                                                  │
│                                         ▼                                                  │
│                                   Git Commit SHA                                           │
│                                   例如 f68c7385                                            │
│                                         │                                                  │
│                                         ▼                                                  │
│                                      BuildKit                                              │
└─────────────────────────────────────────┬──────────────────────────────────────────────────┘
                                          │
                                          │ build + push
                                          ▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                  IMMUTABLE ARTIFACT                                        │
│                                                                                            │
│                                        Harbor                                              │
│                                                                                            │
│                harbor.demo.com/springboot/springboot-demo:<GIT-SHA>                       │
│                                                                                            │
│                例:springboot-demo:f68c7385                                                │
│                                                                                            │
│                        Source SHA = Image Tag                                               │
│                                                                                            │
│                   禁止 latest · Build Once                                                 │
└─────────────────────────────────────────┬──────────────────────────────────────────────────┘
                                          │
                                          │ Jenkins 修改 Git
                                          ▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                         GITOPS                                             │
│                                                                                            │
│ Jenkins                                                                                   │
│   │                                                                                        │
│   └──── 修改 environments/*/values.yaml                                                   │
│                    │                                                                       │
│                    ▼                                                                       │
│                git commit                                                                  │
│                    │                                                                       │
│                    ▼                                                                       │
│                 git push                                                                   │
│                    │                                                                       │
│                    ▼                                                                       │
│                  GitLab                                                                    │
│                    │                                                                       │
│                    ▼                                                                       │
│                  ArgoCD                                                                    │
│          ┌─────────┼───────────────┐                                                       │
│          │         │               │                                                       │
│          ▼         ▼               ▼                                                       │
│       AutoSync    Prune          SelfHeal                                                  │
│                    │                                                                       │
│                    ▼                                                                       │
│       Git Desired State  ───────────────→  Kubernetes Live State                          │
│                                                                                            │
│ 正常生产路径:Jenkins → Git → ArgoCD → Kubernetes                                         │
│                  而不是 Jenkins → kubectl patch PROD                                       │
└─────────────────────────────────────────┬──────────────────────────────────────────────────┘
                                          │
                                          ▼
                        ┌─────────────────────────────────┐
                        │       MULTI-ENV DELIVERY        │
                        └───────────────┬─────────────────┘
                                        │
                                        ▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                          DEV                                               │
│                                                                                            │
│                      environments/dev/values.yaml                                          │
│                                  │                                                         │
│                                  ▼                                                         │
│                         ArgoCD springboot-dev                                               │
│                                  │                                                         │
│                                  ▼                                                         │
│                         Deployment / Service                                               │
│                                  │                                                         │
│                                  ▼                                                         │
│                        Readiness / Liveness                                                 │
│                                  │                                                         │
│                                  ▼                                                         │
│                         Metrics / Business Test                                             │
│                                  │                                                         │
│                           DEV 验证通过                                                      │
└──────────────────────────────────┬─────────────────────────────────────────────────────────┘
                                   │
                                   │ springboot-demo-promote
                                   ▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                  DEV → TEST PROMOTION                                      │
│                                                                                            │
│                         读取 DEV Desired Image                                              │
│                                  │                                                         │
│                                  ▼                                                         │
│                       验证 DEV Live Image 一致                                              │
│                                  │                                                         │
│                                  ▼                                                         │
│                    校验 Tag = Immutable Git SHA                                            │
│                                  │                                                         │
│                                  ▼                                                         │
│                          Manual Approval                                                    │
│                                  │                                                         │
│                                  ▼                                                         │
│                   environments/test/values.yaml                                            │
│                                  │                                                         │
│                        只修改 image.tag                                                     │
│                                  │                                                         │
│                         ★ NO REBUILD ★                                                      │
│                                  │                                                         │
│                                  ▼                                                         │
│                     ArgoCD springboot-test                                                  │
│                                  │                                                         │
│                                  ▼                                                         │
│                           TEST Rollout                                                      │
│                                  │                                                         │
│                                  ▼                                                         │
│                   验证 TEST Live Image = DEV Image                                         │
│                                  │                                                         │
│                                  ▼                                                         │
│                           TEST APPROVED                                                     │
└──────────────────────────────────┬─────────────────────────────────────────────────────────┘
                                   │
                                   ▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                  RELEASE HANDOFF                                           │
│                                                                                            │
│                             release-state.env                                              │
│                                                                                            │
│                       APP_NAME=springboot-demo                                              │
│                       APPROVED_ENV=test                                                    │
│                       IMAGE_REPOSITORY=...                                                  │
│                       IMAGE_TAG=<git-sha>                                                   │
│                       APPROVED=true                                                        │
│                       BUILD_NUMBER=...                                                      │
│                       TIME=...                                                              │
│                                                                                            │
│                   TEST → PROD 的正式审批凭据                                                │
└──────────────────────────────────┬─────────────────────────────────────────────────────────┘
                                   │
                                   │ springboot-canary-release
                                   ▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                    PROD PRE-CHECK                                          │
│                                                                                            │
│                       读取 TEST Approved Release                                            │
│                                  │                                                         │
│            ┌─────────────────────┼──────────────────────────┐                              │
│            ▼                     ▼                          ▼                              │
│     APPROVED=true?       IMAGE_TAG=SHA?        Repository 是否正确?                      │
│            │                     │                          │                              │
│            └─────────────────────┼──────────────────────────┘                              │
│                                  │                                                         │
│                                  ▼                                                         │
│                         TEST Git Tag 校验                                                   │
│                                  │                                                         │
│                                  ▼                                                         │
│                        TEST Live Image 校验                                                 │
│                                  │                                                         │
│                     ┌────────────┴────────────┐                                            │
│                     │                         │                                            │
│                   FAIL                       PASS                                           │
│                     │                         │                                            │
│                     ▼                         ▼                                            │
│                FAIL CLOSED              允许进入 PROD                                      │
└───────────────────────────────────────────────┬────────────────────────────────────────────┘
                                                │
                                                ▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                    PROD CANARY                                             │
│                                                                                            │
│                               Cilium Gateway                                               │
│                                      │                                                     │
│                                      ▼                                                     │
│                                  HTTPRoute                                                 │
│                                      │                                                     │
│                      ┌───────────────┴───────────────┐                                     │
│                      │                               │                                     │
│                      ▼                               ▼                                     │
│                   Stable                           Canary                                  │
│               Deployment × N                  Deployment × N                               │
│                      │                               │                                     │
│                      ▼                               ▼                                     │
│               Stable Service                 Canary Service                                │
│                      │                               │                                     │
│                      ▼                               ▼                                     │
│                 Stable HPA                      Canary HPA                                 │
│                 min=3 max=8                     min=1 max=8                                │
│                      │                               │                                     │
│                      └──────────────┬────────────────┘                                     │
│                                     │                                                      │
│                                     ▼                                                      │
│                              HTTPRoute Weight                                              │
└─────────────────────────────────────┬──────────────────────────────────────────────────────┘
                                      │
                                      ▼
                             Candidate Prepare
                                      │
                                      ▼
                              Canary Image Update
                                      │
                                      ▼
                                Weight = 0%
                                      │
                                      ▼
                              Canary Pod Ready
                                      │
                                      ▼
                            Canary Endpoint Ready
                                      │
                                      ▼
                                 Warmup
                                      │
                                      ▼
                          Prometheus Metrics Ready
                                      │
                                      ▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                              PROGRESSIVE DELIVERY                                          │
│                                                                                            │
│                          Stable 95 / Canary 5                                              │
│                                  │                                                         │
│                                  ▼                                                         │
│                           Prometheus Gate                                                   │
│                                  │                                                         │
│                         ┌────────┴────────┐                                                │
│                       PASS              FAIL                                                │
│                         │                │                                                 │
│                         ▼                └────────────────────────────┐                    │
│                Manual Approval                                      │                    │
│                         │                                            │                    │
│                         ▼                                            │                    │
│                          10%                                         │                    │
│                         │                                            │                    │
│                         ▼                                            │                    │
│                  Prometheus Gate                                     │                    │
│                         │                                            │                    │
│                         ▼                                            │                    │
│                          30%                                         │                    │
│                         │                                            │                    │
│                         ▼                                            │                    │
│                  Prometheus Gate                                     │                    │
│                         │                                            │                    │
│                         ▼                                            │                    │
│                          50%                                         │                    │
│                         │                                            │                    │
│                         ▼                                            │                    │
│                  Prometheus Gate                                     │                    │
│                         │                                            │                    │
│                         ▼                                            │                    │
│                         100%                                         │                    │
│                         │                                            │                    │
│                         ▼                                            │                    │
│                Final Candidate Gate                                  │                    │
│                         │                                            │                    │
│                   ┌─────┴─────┐                                      │                    │
│                  PASS        FAIL ────────────────────────────────────┘                    │
│                   │                                                                          │
└───────────────────┼──────────────────────────────────────────────────────────────────────────┘
                    │
                    │
        ┌───────────┴─────────────────────┐
        │                                 │
        ▼                                 ▼
┌──────────────────────────┐    ┌────────────────────────────────────────────┐
│     STABLE PROMOTION     │    │                 ROLLBACK                   │
│                          │    │                                            │
│ Canary 已通过100% Gate   │    │         任意 Canary Gate FAIL             │
│          │               │    │                    │                       │
│          ▼               │    │                    ▼                       │
│ 记录 OLD_STABLE_TAG      │    │        GitOps canary.weight=0             │
│          │               │    │                    │                       │
│          ▼               │    │                    ▼                       │
│ Candidate → Stable       │    │                git push                    │
│          │               │    │                    │                       │
│          ▼               │    │                    ▼                       │
│ Git Commit / Push        │    │                 ArgoCD                     │
│          │               │    │                    │                       │
│          ▼               │    │                    ▼                       │
│        ArgoCD            │    │              HTTPRoute                     │
│          │               │    │                    │                       │
│          ▼               │    │                    ▼                       │
│ Stable RollingUpdate     │    │        Stable 100 / Canary 0              │
│          │               │    │                    │                       │
│          ▼               │    │                    ▼                       │
│ Wait Ready               │    │            Business Verify                 │
│          │               │    │                    │                       │
│          ▼               │    │                    ▼                       │
│ Image Verify             │    │              Pipeline FAIL                 │
│ Endpoint Verify          │    │                                            │
│ Business Verify          │    │       “发布失败,但生产流量安全”             │
│          │               │    └────────────────────────────────────────────┘
│          ▼               │
│ Stable 100               │
│ Canary 0                 │
│          │               │
│          ▼               │
│ RELEASE SUCCESS          │
└──────────┬───────────────┘
           │
           ▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                PROD RELEASE STATE                                          │
│                                                                                            │
│                     environments/prod/release-state.env                                    │
│                                                                                            │
│                         PREVIOUS_STABLE_TAG                                                 │
│                         CURRENT_STABLE_TAG                                                  │
│                         CANDIDATE_TAG                                                       │
│                         PROMOTION_BUILD                                                     │
│                         PROMOTION_TIME                                                      │
│                                                                                            │
│                  为最终 Promotion / Emergency Rollback 提供审计                            │
└──────────────────────────────────┬─────────────────────────────────────────────────────────┘
                                   │
                                   ▼
┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                 PRODUCTION TRAFFIC                                         │
│                                                                                            │
│                                     Client                                                 │
│                                       │                                                    │
│                                       ▼                                                    │
│                        springboot-prod.demo.com                                             │
│                                       │                                                    │
│                                       ▼                                                    │
│                                  MetalLB VIP                                               │
│                                  192.168.6.67                                              │
│                                       │                                                    │
│                                       ▼                                                    │
│                               Cilium Gateway                                               │
│                                       │                                                    │
│                                       ▼                                                    │
│                                  HTTPRoute                                                 │
│                                       │                                                    │
│                    ┌──────────────────┴──────────────────┐                                 │
│                    ▼                                     ▼                                 │
│              Stable Service                        Canary Service                          │
│                    │                                     │                                 │
│                    ▼                                     ▼                                 │
│              Stable Pods                           Canary Pods                             │
│                    │                                     │                                 │
│                    └──────────────────┬──────────────────┘                                 │
│                                       │                                                    │
│                          ┌────────────┴─────────────┐                                      │
│                          ▼                          ▼                                      │
│                       MaxScale                    Redis                                     │
│                          │                          │                                      │
│                          ▼                          ▼                                      │
│                  MariaDB Galera                 Sentinel                                   │
│                     × 3                         × 3                                        │
└────────────────────────────────────────────────────────────────────────────────────────────┘


                     ╔══════════════════════════════════════╗
                     ║        PARALLEL CONTROL LOOPS        ║
                     ╚══════════════════════════════════════╝


┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                  OBSERVABILITY                                             │
│                                                                                            │
│ SpringBoot / Kubernetes / Nodes                                                            │
│              │                                                                             │
│              ▼                                                                             │
│          Prometheus                                                                        │
│              │                                                                             │
│      ┌───────┼────────────┬───────────────┬───────────────────────┐                       │
│      │       │            │               │                       │                       │
│      ▼       ▼            ▼               ▼                       ▼                       │
│   Grafana Alertmanager VictoriaMetrics Prometheus Adapter          Release Gate            │
│                         Long-term       │                          QPS / 5xx                │
│                                         ▼                                                  │
│                                Custom Metrics API                                          │
│                                         │                                                  │
│                                         ▼                                                  │
│                          http_requests_per_second                                           │
│                                         │                                                  │
│                                         ▼                                                  │
│                                        HPA                                                 │
│                                         │                                                  │
│                                         ▼                                                  │
│                              Deployment Replicas                                           │
│                                                                                            │
│ 其它:Blackbox / Federation / DNS SD / Pushgateway                                         │
└────────────────────────────────────────────────────────────────────────────────────────────┘


┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                LOGS / TRACE / NETWORK                                      │
│                                                                                            │
│ Container Logs ─→ Fluent Bit ─┬─→ Loki ───────────────→ Grafana / LogQL                   │
│                               │                                                            │
│                               └─→ Elasticsearch / ECK ─→ Kibana                           │
│                                                                                            │
│ SpringBoot ─→ SkyWalking Agent ─→ OAP ─→ Trace                                             │
│                                                                                            │
│ Cilium ─→ Hubble Relay / UI ─→ Network Flow                                                │
│                                                                                            │
│                    Metrics + Logs + Traces + Network                                       │
└────────────────────────────────────────────────────────────────────────────────────────────┘


┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                      STORAGE                                               │
│                                                                                            │
│                                  Kubernetes PVC                                            │
│                                        │                                                   │
│                    ┌───────────────────┼───────────────────┐                              │
│                    ▼                   ▼                   ▼                              │
│                NFS CSI          OpenEBS hostpath       OpenEBS Jiva                        │
│                  RWX                  RWO                  RWO                              │
│                                        │                                                   │
│               WordPress       Elasticsearch等      MariaDB / Redis / Monitoring            │
│                                                                                            │
│         数据迁移原则:Backup → Validate → Replicate → Compare → Switch → Verify            │
└────────────────────────────────────────────────────────────────────────────────────────────┘


┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                    SECURITY                                                │
│                                                                                            │
│ Namespace Isolation                                                                        │
│          ↓                                                                                 │
│ Default Deny NetworkPolicy                                                                 │
│          ↓                                                                                 │
│ 按业务调用链放通                                                                            │
│          ↓                                                                                 │
│ Cilium L3/L4/L7 Policy                                                                     │
│                                                                                            │
│ RBAC → ServiceAccount → Least Privilege                                                     │
│                                                                                            │
│ ConfigMap ≠ Secret                                                                         │
│                                                                                            │
│ Jenkins Credentials                                                                        │
│ ├─ gitlab-deploy-key                                                                       │
│ ├─ gitops-write-key                                                                        │
│ └─ harbor-robot                                                                            │
│                                                                                            │
│ Immutable Git-SHA Image · 禁止 latest                                                       │
│                                                                                            │
│ Jenkins PROD Kubernetes 权限尽量 Read-Only                                                  │
└────────────────────────────────────────────────────────────────────────────────────────────┘


┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                 FAULT RECOVERY                                             │
│                                                                                            │
│ Fault Injection                                                                            │
│      │                                                                                     │
│      ├─ Pod Delete                                                                         │
│      ├─ CrashLoopBackOff                                                                   │
│      ├─ Readiness Failure                                                                  │
│      ├─ HTTP 500                                                                           │
│      ├─ Service / Endpoint                                                                 │
│      ├─ NetworkPolicy                                                                      │
│      ├─ DNS                                                                                │
│      ├─ Gateway / HTTPRoute                                                                │
│      ├─ HPA / Custom Metrics                                                               │
│      ├─ Prometheus                                                                         │
│      ├─ MariaDB / MaxScale                                                                 │
│      ├─ Redis                                                                              │
│      ├─ Jenkins                                                                            │
│      ├─ ArgoCD                                                                             │
│      └─ Worker Node                                                                        │
│                                                                                            │
│      ▼                                                                                     │
│    Detect                                                                                  │
│      ↓                                                                                     │
│   Diagnose                                                                                 │
│      ↓                                                                                     │
│   Isolate                                                                                  │
│      ↓                                                                                     │
│   Recover                                                                                  │
│      ↓                                                                                     │
│ Business Verify                                                                            │
│      ↓                                                                                     │
│ T0 / T1 / T2 / T3                                                                          │
│      ↓                                                                                     │
│ MTTD / RTO / RPO                                                                           │
└────────────────────────────────────────────────────────────────────────────────────────────┘


┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                                   HIGH AVAILABILITY                                        │
│                                                                                            │
│                               Kubernetes HA                                                │
│                                    │                                                       │
│          ┌─────────────────────────┼──────────────────────────┐                            │
│          │                         │                          │                            │
│          ▼                         ▼                          ▼                            │
│   Control Plane ×3           Worker Nodes               etcd Cluster                       │
│                                                                                            │
│ Cilium / MetalLB / Gateway                                                                  │
│                                                                                            │
│ MariaDB Galera ×3 ─→ MaxScale ×2                                                          │
│                                                                                            │
│ Redis ×3 ─→ Sentinel ×3                                                                    │
│                                                                                            │
│ Storage / PVC                                                                              │
│                                                                                            │
│ Prometheus / Grafana / Alertmanager                                                        │
│                                                                                            │
│ GitLab / Jenkins / Harbor / ArgoCD                                                         │
│                                                                                            │
│                     单点故障 → 服务继续 → 自动恢复                                          │
└────────────────────────────────────────────────────────────────────────────────────────────┘


┌────────────────────────────────────────────────────────────────────────────────────────────┐
│                               PRODUCTION SEAL                                              │
│                                                                                            │
│ PDB                                                                                        │
│ Pod Distribution / Anti-Affinity / TopologySpread                                          │
│ Requests / Limits                                                                          │
│ Startup / Readiness / Liveness                                                              │
│ HPA                                                                                        │
│ RBAC                                                                                       │
│ NetworkPolicy                                                                              │
│ Secret                                                                                     │
│ GitOps                                                                                     │
│ Immutable Images                                                                           │
│ Canary / Rollback                                                                          │
│ Monitoring / Alert                                                                         │
│ Storage / Backup Boundary                                                                  │
│ Fault Recovery                                                                             │
│ HA Validation                                                                              │
│                                                                                            │
│                                 FINAL ACCEPTANCE                                            │
└───────────────────────────────────┬────────────────────────────────────────────────────────┘
                                    │
                                    ▼

                        ╔═══════════════════════╗
                        ║   PROJECT COMPLETE    ║
                        ╚═══════════════════════╝


──────────────────────────────────────────────────────────────────────────────────────────────
                              整个项目的核心闭环
──────────────────────────────────────────────────────────────────────────────────────────────

 Source Code
      ↓
 Test / Scan
      ↓
 Build Once
      ↓
 Git-SHA Immutable Image
      ↓
 Harbor
      ↓
 GitOps
      ↓
 DEV
      ↓
 Same Artifact
      ↓
 TEST
      ↓
 TEST Approved
      ↓
 PROD Canary
      ↓
 0 → 5 → 10 → 30 → 50 → 100
      ↓
 Prometheus Business Gate
      │
      ├──────── PASS ────────→ Stable Promotion
      │                            ↓
      │                     Stable 100 / Canary 0
      │
      └──────── FAIL ────────→ GitOps Rollback
                                   ↓
                            Stable 100 / Canary 0
      ↓
 Observability
      ↓
 HPA Auto Scaling
      ↓
 Security Governance
      ↓
 Fault Detection
      ↓
 Automatic / Controlled Recovery
      ↓
 High Availability
      ↓
 Production Seal