在 Kubernetes 中部署应用时,我们经常会使用下面的命令检查运行状态:

kubectl get pods

看到:

NAME                         READY   STATUS    RESTARTS
nginx-demo-xxxxxxxxxx-xxxxx  1/1     Running   0

很多人可能会认为:

Pod 已经 Running,服务应该可以访问了。

但实际上,Pod Running 只能说明 Pod 已经进入运行阶段,并不能保证业务能够正常响应,更不意味着集群外部的客户端能够访问应用。

一个从 Kubernetes 集群外部发起的 HTTP 请求,可能涉及:

  • DNS 域名解析
  • Linux 路由与 ARP
  • LoadBalancer IP
  • Cilium Ingress / Envoy
  • Kubernetes Service
  • EndpointSlice
  • Pod 网络
  • 应用监听端口
  • NetworkPolicy

任何一个环节出现问题,都可能导致访问失败。

最近我在重建 NativeOpsLab Kubernetes 实验室时,部署了一个 Nginx Demo,并使用 Cilium Ingress 将应用发布到局域网。

这次实验最终成功完成了集群外访问验收。

本文将结合真实实验结果,记录完整访问过程,并整理一套可以复用的 Kubernetes 网络排查方法。

实验说明: 本次没有实际发生外部访问失败。文中的故障现象、HTTP 错误码及对应解决思路属于排查参考,真实实验结果以命令输出和截图为准。


一、实验环境介绍

这次实验运行在 Rocky Linux 9 和 Kubernetes v1.28.15 环境中。

1.1 Kubernetes 节点规划

节点IP 地址角色
h11192.168.6.11Control Plane
h12192.168.6.12Application Worker
h13192.168.6.13Storage Worker
h14192.168.6.14NFS Server + Worker
h15192.168.6.15Observability Worker
h16192.168.6.16集群外测试客户端

其中 h11~h15 是 Kubernetes 集群节点。

h16 不加入 Kubernetes,主要承担:

  • Linux 故障排查
  • 网络连通性测试
  • Kubernetes 外部访问验证
  • 压力测试
  • Chaos 故障实验

这样设计的好处是可以从真实的集群外部视角检查应用,而不是只在 Pod 内执行 curl。

1.2 主要组件

组件用途
Kubernetes v1.28.15容器编排
CiliumCNI 容器网络
EnvoyIngress HTTP 流量代理
MetalLB实验室中的 LoadBalancer 地址服务
CoreDNS集群 DNS
containerd容器运行时
Nginx测试应用

本次部署的 Nginx 应用:

Namespace : demo
Deployment: nginx-demo
Replicas  : 2
Service   : nginx-demo
Ingress   : nginx-demo
Host      : demo.nativeopslab.local
Ingress IP: 192.168.6.61

需要注意,192.168.6.61 是本次实验实际观察到的 Ingress 地址。其他实验环境需要以自己的查询结果为准。


二、先理解 Kubernetes 外部访问链路

在动手排查之前,先理解一个 HTTP 请求可能经过哪些组件。

本次实验的逻辑访问链路:

            h16 外部客户端
             192.168.6.16
                    |
                    | HTTP Request
                    v
         demo.nativeopslab.local
                    |
                    | 域名解析
                    v
              192.168.6.61
                    |
                    | LoadBalancer
                    v
           Cilium Ingress / Envoy
                    |
                    | Host / Path 匹配
                    v
             nginx-demo Service
              10.100.169.199
                    |
                    | 后端服务发现
                    v
               EndpointSlice
                    |
          +---------+---------+
          |                   |
          v                   v
      Nginx Pod 1         Nginx Pod 2
      10.244.1.140        10.244.1.231
          |                   |
          +---------+---------+
                    |
                    v
               HTTP Response
                    |
                    v
               h16 客户端

这里有一个容易产生误解的地方:

上图表示逻辑链路,不代表每个数据包都会依次穿过图中的所有 Kubernetes 对象。

例如 EndpointSlice 是描述 Service 后端的 API 对象,本身不是数据包转发组件。

Cilium Ingress 使用 Envoy 处理流量,具体转发路径也不能简单等同于传统 kube-proxy 的转发过程。

但从故障排查角度看,我们仍然需要逐层确认这些配置与后端关系是否正常。


三、第一步:检查 Deployment 和 Pod

先登录 h11。

执行:

kubectl -n demo get deploy,pod -o wide

这次实验中,Nginx Deployment 有两个副本,均处于 Ready 状态。

后来再次检查时,两个 Pod 的状态如下:

NAME                         READY   STATUS    RESTARTS
nginx-demo-6b555d8954-mrr7m  1/1     Running   1
nginx-demo-6b555d8954-ssbzh  1/1     Running   1

两个 Pod 都处于 Running 状态,并且均为 1/1 Ready。

此前通过 Node Label,Nginx Deployment 被调度到 h12:

nodeSelector:
  nativeopslab.io/role: app

这里需要理解三个状态。

3.1 Running

说明 Pod 已进入运行阶段。

但并不代表业务一定正常。

3.2 Ready

说明 Pod 满足配置的就绪条件。

如果存在 readinessProbe,Kubernetes 会依据探针结果判断 Pod 是否就绪。

3.3 业务正常

真正的业务可用,还需要通过 HTTP 请求、数据库操作或其他业务接口来验证。

所以:

Pod Running
    ≠
Pod Ready
    ≠
业务完全正常
    ≠
外部访问正常

3.4 为什么两个 Pod 都有一次重启?

本次截图中,两个 Pod 的 RESTARTS 都为 1。

虽然当前应用访问正常,但重启原因不能直接忽略。

可以检查:

kubectl -n demo describe pod \
  nginx-demo-6b555d8954-mrr7m

查看上一次容器日志:

kubectl -n demo logs \
  nginx-demo-6b555d8954-mrr7m \
  --previous

另一个 Pod 同样检查:

kubectl -n demo describe pod \
  nginx-demo-6b555d8954-ssbzh
kubectl -n demo logs \
  nginx-demo-6b555d8954-ssbzh \
  --previous

重点看:

Last State
Reason
Exit Code
Events

可能的原因包括:

  • OOMKilled
  • Liveness Probe 失败
  • 容器进程异常退出
  • 节点或容器运行时发生变化

但本次截图没有提供足够证据判断实际重启原因,不能直接归结为其中一种。


四、第二步:检查 Kubernetes Service

确认 Pod 正常后,接下来检查 Service。

执行:

kubectl -n demo get svc

本次实际结果:

NAME         TYPE        CLUSTER-IP       PORT(S)
nginx-demo   ClusterIP   10.100.169.199   80/TCP

这里的地址:

10.100.169.199

是 Kubernetes 内部的 ClusterIP。

它主要用于集群内部的服务访问,不能因为存在 ClusterIP 就认为局域网中的 h16 可以直接使用这个地址。

查看 Service 详细配置:

kubectl -n demo describe svc nginx-demo

重点检查:

Selector
Port
TargetPort
Endpoints

本次 Nginx Service 的核心配置如下:

apiVersion: v1
kind: Service
metadata:
  name: nginx-demo
  namespace: demo
spec:
  selector:
    app: nginx-demo
  ports:
    - port: 80
      targetPort: 80

其中:

selector:
  app: nginx-demo

非常重要。

Service 通过标签选择对应的后端 Pod。

如果 Service Selector 和 Pod Label 不匹配,就会出现一个常见问题:

Service 存在,但没有可用后端。

比如:

# Service
selector:
  app: nginx-demo

但 Pod 实际是:

# Pod
labels:
  app: nginx

两者不一致,就无法正常建立预期的后端关联。

排查命令:

kubectl -n demo get pods --show-labels
kubectl -n demo get svc nginx-demo -o yaml

所以排查 Service 时,不应该只看它有没有 ClusterIP。

更重要的是确认 Selector 和后端是否正常。


五、第三步:检查 EndpointSlice 和 Endpoints

这是本次实验中很重要的一步。

在 h11 执行:

kubectl -n demo get endpoints

真实输出中的 Nginx 后端为:

NAME         ENDPOINTS
nginx-demo   10.244.1.140:80,10.244.1.231:80

这说明当前 Service 的后端地址包括:

10.244.1.140:80
10.244.1.231:80

这两个地址都是 Pod 网络中的地址。

5.1 EndpointSlice 是什么?

现代 Kubernetes 使用 EndpointSlice 表示 Service 的后端网络端点。

它包含的信息可以包括:

  • 后端 IP
  • 端口
  • 协议
  • Endpoint Ready 状态
  • Endpoint 所在节点

可以通过下面的命令查看:

kubectl -n demo get endpointslice \
  -l kubernetes.io/service-name=nginx-demo

查看更详细的内容:

kubectl -n demo describe endpointslice \
  -l kubernetes.io/service-name=nginx-demo

如果 EndpointSlice 里的地址与实际 Pod IP 一致,并且 Ready 状态正常,就说明 Service 后端发现与就绪关系符合预期。

需要注意:

EndpointSlice 正常不等于数据包一定可以到达后端。

例如 NetworkPolicy、CNI 数据面或者应用端口异常,仍然可能造成访问失败。

它只能帮助我们缩小故障范围。

5.2 Cilium Ingress 的特殊 Endpoint

本次输出中还存在:

service/cilium-ingress-nginx-demo

对应一个 LoadBalancer Service。

同时可以看到类似:

192.192.192.192:9999

这样的 Endpoint。

这与普通 Nginx Service 后面的 Pod IP 不同。

在 Cilium Ingress 的实现中,可能出现用于代理流量路径的特殊逻辑地址。

因此,不能仅凭它不是实际 Pod IP 就认定网络异常。

排查时应分别检查 Cilium Ingress 的代理链路和业务 Service 的后端。


六、第四步:从 Kubernetes 内部测试 Nginx

如果我们要排查一个外部访问故障,最好先判断:

集群内部能不能访问 Service?

这一步可以把问题划分成两类:

集群内部访问失败
    → 优先检查 Pod / Service / DNS / CNI / NetworkPolicy

集群内部访问成功,外部访问失败
    → 重点检查 Ingress / LB / DNS / Route / ARP / 防火墙

下面是可以补充执行的验证方法。

创建测试 Pod:

kubectl -n demo run curl-client \
  --image=curlimages/curl:8.11.1 \
  --restart=Never \
  --command -- sleep 3600

等待就绪:

kubectl -n demo wait \
  --for=condition=Ready \
  pod/curl-client \
  --timeout=120s

执行:

kubectl -n demo exec curl-client -- \
  curl -v http://nginx-demo

或者使用完整 Service 域名:

kubectl -n demo exec curl-client -- \
  curl -v \
  http://nginx-demo.demo.svc.cluster.local

如果可以获得 HTTP 正常响应,说明当前测试请求能够通过集群内部 Service 访问应用。

如果访问失败,可以继续检查:

kubectl -n kube-system get pods
kubectl -n demo get networkpolicy
kubectl -n demo describe svc nginx-demo

以及对应的 Cilium 状态。

测试完成后删除临时 Pod:

kubectl -n demo delete pod curl-client

说明:这是补充排障方法,不属于本次 h11、h16 两张截图已经直接证明的测试结果。


七、第五步:检查 Cilium Ingress

Pod、Service 和后端关系确认后,接下来检查 Ingress。

执行:

kubectl -n demo get ingress

本次实验实际输出:

NAME         CLASS    HOSTS                     ADDRESS
nginx-demo   cilium   demo.nativeopslab.local   192.168.6.61

可以确认:

  • Ingress 名称为 nginx-demo
  • IngressClass 为 cilium
  • Host 为 demo.nativeopslab.local
  • Ingress ADDRESS 为 192.168.6.61

7.1 Ingress 核心配置

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: nginx-demo
  namespace: demo
spec:
  ingressClassName: cilium
  rules:
    - host: demo.nativeopslab.local
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: nginx-demo
                port:
                  number: 80

这个配置的含义是:

当 HTTP 请求匹配:

Host: demo.nativeopslab.local
Path: /

就将请求交给:

nginx-demo Service
Port 80

7.2 为什么不能只 curl Ingress IP?

假设执行:

curl http://192.168.6.61

这个请求默认使用 IP 作为 HTTP Host。

但 Ingress 配置匹配的是:

demo.nativeopslab.local

因此直接访问 IP 可能无法匹配预期的路由。

更准确的测试方法是:

curl -v \
  -H 'Host: demo.nativeopslab.local' \
  http://192.168.6.61/

或者:

curl -v \
  --resolve demo.nativeopslab.local:80:192.168.6.61 \
  http://demo.nativeopslab.local/

--resolve 可以为当前 curl 请求指定域名对应的 IP,同时保留正确的 Host。

这在排查 DNS 和 Ingress 问题时非常有用。


八、第六步:检查 Cilium Ingress LoadBalancer

本次 Kubernetes 实验环境启用了 Cilium Ingress。

在查询 Service 时,可以看到:

NAME                        TYPE           EXTERNAL-IP
cilium-ingress-nginx-demo   LoadBalancer   192.168.6.61

对应端口:

80:30754/TCP
443:31580/TCP

这说明对应的 Ingress Service 已取得一个 LoadBalancer 地址。

但是:

LoadBalancer 分配了 IP,不代表客户端一定能够访问它。

还需要确认以下几个方面。

8.1 地址是否真正可达?

查看:

kubectl -n demo get svc \
  cilium-ingress-nginx-demo -o wide

8.2 Cilium 状态是否正常?

kubectl -n kube-system get pods \
  -l k8s-app=cilium -o wide

如果安装了 CLI:

cilium status

8.3 Envoy 是否正常?

kubectl -n kube-system get pods | grep envoy

根据实际组件部署方式,继续检查相关日志。

8.4 LoadBalancer IP 由谁负责发布?

这一点也需要注意。

虽然实验室同时安装了 MetalLB 和 Cilium,但不能因为 MetalLB 存在,就直接认定某个 Ingress IP 一定由 MetalLB 发布。

需要结合当前的 IPAddressPool、L2Advertisement、Cilium 的地址通告配置和 Service 实际状态判断。

如果确认地址由 MetalLB L2 模式负责发布,可以进一步检查:

kubectl -n metallb-system get pods
kubectl -n metallb-system get ipaddresspools
kubectl -n metallb-system get l2advertisements

对于二层网络,还要检查 ARP 是否正常。


九、第七步:从集群外 h16 实际验证

前面的检查大多在 Kubernetes 集群内完成。

但我们的最终目标是:

让集群外部的 h16 访问 Nginx。

这也是整个实验最关键的一步。

9.1 查看 h16 网络信息

在 h16 执行:

ip -br addr

查看 IP 地址。

再查看路由:

ip route

进一步检查:

ip route get 192.168.6.61

如果 h16 与 Ingress IP 位于同一二层网络,也可以查看邻居表:

ip neigh show 192.168.6.61

如果看到 INCOMPLETE 或 FAILED,说明当前邻居解析可能存在问题,需要结合网络拓扑和 ARP 抓包继续确认。

9.2 实际执行 curl

本次我在 h16 上执行:

curl demo.nativeopslab.local

实际返回:

<!DOCTYPE html>
<html>
<head>
    <title>NativeOpsLab</title>
</head>
<body>
    <h1>NativeOpsLab</h1>
    <p>Linux / Kubernetes / DevOps / Go</p>
    <p>Kubernetes Demo Application</p>
</body>
</html>

这是本次实验的真实执行结果。

返回的 HTML 与之前部署的 Nginx ConfigMap 页面一致。

说明:

  1. h16 能够解析或映射测试域名。
  2. h16 能够通过当前网络路径发起 HTTP 请求。
  3. 请求成功到达能够处理该域名的 HTTP 服务。
  4. Nginx Demo 的预期页面成功返回。

结合之前确认的 Ingress 配置和 Service 后端关系,可以判断:

本次 Nginx Demo 的集群外 HTTP 访问链路已经打通。

9.3 再补充 HTTP 状态码验证

此前截图已经证明 HTML 返回成功,但没有直接显示状态码。

为了以后博客截图更加规范,建议增加:

curl -sS -o /dev/null \
  -w 'HTTP Status: %{http_code}\nRemote IP: %{remote_ip}\n' \
  http://demo.nativeopslab.local/

也可以执行:

curl -I http://demo.nativeopslab.local/

对于正常响应的 Nginx 页面,预期得到:

HTTP/1.1 200 OK

注意:HTTP 200 是预期结果,原始截图已经确认页面内容返回,但本文不把没有展示的状态码冒充为已记录的真实输出。


十、如果 h16 无法访问,应该怎么排查?

虽然本次实验最终访问成功,但真正有价值的是建立一套以后可以复用的排障流程。

建议先根据错误现象分类。

10.1 域名无法解析

可能出现:

curl: (6) Could not resolve host

首先检查:

getent hosts demo.nativeopslab.local

查看本地 hosts:

grep demo.nativeopslab.local /etc/hosts

如果使用本地 hosts 映射,需要确认类似:

192.168.6.61 demo.nativeopslab.local

也可以完全跳过 DNS 验证:

curl -v \
  --resolve demo.nativeopslab.local:80:192.168.6.61 \
  http://demo.nativeopslab.local/

如果 --resolve 成功,而普通域名访问失败,就应该优先排查域名解析环节。

10.2 Connection timed out

例如:

curl: (28) Connection timed out

优先检查:

ip route get 192.168.6.61
ip neigh show 192.168.6.61

还可以从 h16 抓包:

tcpdump -ni <实际网卡名> \
  'arp or host 192.168.6.61'

观察:

  • 是否发送 ARP Request
  • 是否收到 ARP Reply
  • 是否发送 TCP SYN
  • 是否收到 TCP SYN-ACK
  • 是否存在重复重传

如果 ARP 都没有正常解析,就没有必要一开始就检查 Nginx 的 HTML 内容。

应该先解决底层连通性问题。

10.3 Connection refused

例如:

curl: (7) Failed to connect

需要重点检查:

  • IP 是否正确
  • 目标端口是否监听
  • LoadBalancer 数据面是否正常
  • 防火墙是否拒绝连接
  • 是否访问了错误的端口

Connection refused 说明连接请求遭到拒绝,但具体拒绝点还需要结合抓包与网络配置判断。

10.4 HTTP 404

假设访问返回:

HTTP/1.1 404 Not Found

重点检查:

kubectl -n demo describe ingress nginx-demo

包括:

  • Host 是否匹配
  • Path 是否正确
  • IngressClass 是否正确
  • 是否访问了预期的 HTTP 服务

但要注意,404 也可能来自后端 Nginx 或业务程序,不一定就是 Ingress 产生的。

10.5 HTTP 502 / 503

如果出现:

502 Bad Gateway

或者:

503 Service Unavailable

可以检查:

kubectl -n demo get pods -o wide
kubectl -n demo get endpointslice \
  -l kubernetes.io/service-name=nginx-demo
kubectl -n demo describe svc nginx-demo

以及:

kubectl -n demo logs \
  -l app=nginx-demo \
  --tail=100

继续结合 Envoy 日志和 Hubble 观察后端连接情况。

常见排查方向包括:

  • Service 没有可用后端
  • Pod 没有 Ready
  • TargetPort 错误
  • 后端监听异常
  • 代理与后端协议不匹配
  • NetworkPolicy 拒绝流量

不能只凭一个 HTTP 状态码就认定根因。


十一、NetworkPolicy 也可能导致服务访问失败

如果 Kubernetes 中使用了 NetworkPolicy,即使 Pod Running、Service 和 Ingress 都正常,流量也可能被策略拒绝。

查看:

kubectl -n demo get networkpolicy

如果使用 CiliumNetworkPolicy:

kubectl -n demo get ciliumnetworkpolicy

重点确认 Ingress 到应用 Pod 的实际流量是否允许。

如果有 Hubble,可以通过可视化界面或者 CLI 观察通信。

例如:

hubble observe --namespace demo

检查是否存在被拒绝的流量。

不过需要注意:

不要因为访问失败,就直接删除所有 NetworkPolicy。

这可能扩大安全暴露范围,而且不能证明根本原因。

更好的方法是:

观察被拒绝的流量
        ↓
确定源和目标
        ↓
找到匹配的策略
        ↓
修改最小必要规则
        ↓
重新验证

十二、整理一套 Kubernetes 网络排查顺序

通过这次实验,我认为排查 Kubernetes 外部访问问题时,最重要的不是记住某一条命令,而是先确定故障发生在哪一段。

我将排查流程整理如下:

外部访问失败
      |
      v
检查域名解析
      |
      v
检查客户端 Route / ARP
      |
      v
检查目标 IP / TCP 端口
      |
      v
检查 LoadBalancer 地址与发布方式
      |
      v
检查 Ingress Host / Path
      |
      v
检查 Service Selector / Port
      |
      v
检查 EndpointSlice / Ready
      |
      v
检查 Pod / 应用监听
      |
      v
结合 Cilium / Envoy / Hubble
与 NetworkPolicy 日志进一步定位

这不是规定所有故障都必须从上到下执行。

例如,如果 curl 已经返回 HTTP 404,说明请求至少到达了某个 HTTP 服务,下一步通常应优先检查 Host、Path 和路由,而不是重复检查所有基础 IP 配置。

如果连目标 IP 的 ARP 都解析失败,则应优先排查底层网络。

根据现象定位故障边界,比看到访问失败就重启组件更加有效。


十三、本次真实实验最终验收

截至本次记录,NativeOpsLab 的 Nginx Demo 已完成以下检查:

验收项目实验结果
Deployment 2/2 Ready通过
两个 Pod Running通过
Service ClusterIP 正常通过
Endpoint 关联两个 Pod通过
Cilium Ingress 创建成功通过
Ingress ADDRESS 为 192.168.6.61通过
h16 通过域名访问 Nginx通过
返回预期 NativeOpsLab HTML通过
HTTP 状态码独立截图通过

本次真实访问链路可以概括为:

h16
 |
 | curl demo.nativeopslab.local
 |
 v
192.168.6.61
 |
 v
Cilium Ingress / Envoy
 |
 v
nginx-demo Service
 |
 v
Nginx 后端 Pod
 |
 v
NativeOpsLab HTML

因此,NativeOpsLab 实验室建设 Step 03:标准 Demo App + 集群外访问验证,正式完成。


十四、总结:Pod Running 不是服务验收的终点

通过这次 Kubernetes 实验,我总结了五点。

第一,Pod Running 不等于应用一定可以访问。

需要区分 Pod 运行、就绪和业务实际响应。

第二,Service 创建成功不代表拥有正确后端。

需要检查 Selector、EndpointSlice 和后端就绪状态。

第三,Ingress 获得 External IP,不代表集群外部一定能够访问。

还需要检查域名、路由、地址可达性与 HTTP 路由规则。

第四,网络故障应该通过分层验证定位,而不是靠猜。

DNS、ARP、TCP、Ingress、Service 和 Pod 分别属于不同的检查范围。

第五,完整的 Kubernetes 服务验收,应该包含真实客户端的端到端访问。

这次我从集群外的 h16 成功获取到 Nginx 页面,才正式将 Demo App 的外部访问标记为完成。

对运维人员来说,真正需要掌握的不只是:

kubectl get pods

而是能够解释:

当一个客户端访问 Kubernetes 中的应用时,请求是如何进入集群、如何找到后端,以及当某个环节出现问题时,应该从哪里开始排查。

这也是我建设 NativeOpsLab 的目的。

不是单纯把组件安装起来。

而是建立一套能够重复实验、观察、排查、修复并留下技术记录的云原生环境。