在 Kubernetes 中部署应用时,我们经常会使用下面的命令检查运行状态:
kubectl get pods
看到:
NAME READY STATUS RESTARTS
nginx-demo-xxxxxxxxxx-xxxxx 1/1 Running 0
很多人可能会认为:
Pod 已经 Running,服务应该可以访问了。
但实际上,Pod Running 只能说明 Pod 已经进入运行阶段,并不能保证业务能够正常响应,更不意味着集群外部的客户端能够访问应用。
一个从 Kubernetes 集群外部发起的 HTTP 请求,可能涉及:
- DNS 域名解析
- Linux 路由与 ARP
- LoadBalancer IP
- Cilium Ingress / Envoy
- Kubernetes Service
- EndpointSlice
- Pod 网络
- 应用监听端口
- NetworkPolicy
任何一个环节出现问题,都可能导致访问失败。
最近我在重建 NativeOpsLab Kubernetes 实验室时,部署了一个 Nginx Demo,并使用 Cilium Ingress 将应用发布到局域网。
这次实验最终成功完成了集群外访问验收。
本文将结合真实实验结果,记录完整访问过程,并整理一套可以复用的 Kubernetes 网络排查方法。
实验说明: 本次没有实际发生外部访问失败。文中的故障现象、HTTP 错误码及对应解决思路属于排查参考,真实实验结果以命令输出和截图为准。
一、实验环境介绍
这次实验运行在 Rocky Linux 9 和 Kubernetes v1.28.15 环境中。
1.1 Kubernetes 节点规划
| 节点 | IP 地址 | 角色 |
|---|---|---|
| h11 | 192.168.6.11 | Control Plane |
| h12 | 192.168.6.12 | Application Worker |
| h13 | 192.168.6.13 | Storage Worker |
| h14 | 192.168.6.14 | NFS Server + Worker |
| h15 | 192.168.6.15 | Observability Worker |
| h16 | 192.168.6.16 | 集群外测试客户端 |
其中 h11~h15 是 Kubernetes 集群节点。
h16 不加入 Kubernetes,主要承担:
- Linux 故障排查
- 网络连通性测试
- Kubernetes 外部访问验证
- 压力测试
- Chaos 故障实验
这样设计的好处是可以从真实的集群外部视角检查应用,而不是只在 Pod 内执行 curl。
1.2 主要组件
| 组件 | 用途 |
|---|---|
| Kubernetes v1.28.15 | 容器编排 |
| Cilium | CNI 容器网络 |
| Envoy | Ingress HTTP 流量代理 |
| MetalLB | 实验室中的 LoadBalancer 地址服务 |
| CoreDNS | 集群 DNS |
| containerd | 容器运行时 |
| Nginx | 测试应用 |
本次部署的 Nginx 应用:
Namespace : demo
Deployment: nginx-demo
Replicas : 2
Service : nginx-demo
Ingress : nginx-demo
Host : demo.nativeopslab.local
Ingress IP: 192.168.6.61
需要注意,192.168.6.61 是本次实验实际观察到的 Ingress 地址。其他实验环境需要以自己的查询结果为准。
二、先理解 Kubernetes 外部访问链路
在动手排查之前,先理解一个 HTTP 请求可能经过哪些组件。
本次实验的逻辑访问链路:
h16 外部客户端
192.168.6.16
|
| HTTP Request
v
demo.nativeopslab.local
|
| 域名解析
v
192.168.6.61
|
| LoadBalancer
v
Cilium Ingress / Envoy
|
| Host / Path 匹配
v
nginx-demo Service
10.100.169.199
|
| 后端服务发现
v
EndpointSlice
|
+---------+---------+
| |
v v
Nginx Pod 1 Nginx Pod 2
10.244.1.140 10.244.1.231
| |
+---------+---------+
|
v
HTTP Response
|
v
h16 客户端
这里有一个容易产生误解的地方:
上图表示逻辑链路,不代表每个数据包都会依次穿过图中的所有 Kubernetes 对象。
例如 EndpointSlice 是描述 Service 后端的 API 对象,本身不是数据包转发组件。
Cilium Ingress 使用 Envoy 处理流量,具体转发路径也不能简单等同于传统 kube-proxy 的转发过程。
但从故障排查角度看,我们仍然需要逐层确认这些配置与后端关系是否正常。
三、第一步:检查 Deployment 和 Pod
先登录 h11。
执行:
kubectl -n demo get deploy,pod -o wide
这次实验中,Nginx Deployment 有两个副本,均处于 Ready 状态。
后来再次检查时,两个 Pod 的状态如下:
NAME READY STATUS RESTARTS
nginx-demo-6b555d8954-mrr7m 1/1 Running 1
nginx-demo-6b555d8954-ssbzh 1/1 Running 1
两个 Pod 都处于 Running 状态,并且均为 1/1 Ready。
此前通过 Node Label,Nginx Deployment 被调度到 h12:
nodeSelector:
nativeopslab.io/role: app
这里需要理解三个状态。
3.1 Running
说明 Pod 已进入运行阶段。
但并不代表业务一定正常。
3.2 Ready
说明 Pod 满足配置的就绪条件。
如果存在 readinessProbe,Kubernetes 会依据探针结果判断 Pod 是否就绪。
3.3 业务正常
真正的业务可用,还需要通过 HTTP 请求、数据库操作或其他业务接口来验证。
所以:
Pod Running
≠
Pod Ready
≠
业务完全正常
≠
外部访问正常
3.4 为什么两个 Pod 都有一次重启?
本次截图中,两个 Pod 的 RESTARTS 都为 1。
虽然当前应用访问正常,但重启原因不能直接忽略。
可以检查:
kubectl -n demo describe pod \
nginx-demo-6b555d8954-mrr7m
查看上一次容器日志:
kubectl -n demo logs \
nginx-demo-6b555d8954-mrr7m \
--previous
另一个 Pod 同样检查:
kubectl -n demo describe pod \
nginx-demo-6b555d8954-ssbzh
kubectl -n demo logs \
nginx-demo-6b555d8954-ssbzh \
--previous
重点看:
Last State
Reason
Exit Code
Events
可能的原因包括:
- OOMKilled
- Liveness Probe 失败
- 容器进程异常退出
- 节点或容器运行时发生变化
但本次截图没有提供足够证据判断实际重启原因,不能直接归结为其中一种。
四、第二步:检查 Kubernetes Service
确认 Pod 正常后,接下来检查 Service。
执行:
kubectl -n demo get svc
本次实际结果:
NAME TYPE CLUSTER-IP PORT(S)
nginx-demo ClusterIP 10.100.169.199 80/TCP
这里的地址:
10.100.169.199
是 Kubernetes 内部的 ClusterIP。
它主要用于集群内部的服务访问,不能因为存在 ClusterIP 就认为局域网中的 h16 可以直接使用这个地址。
查看 Service 详细配置:
kubectl -n demo describe svc nginx-demo
重点检查:
Selector
Port
TargetPort
Endpoints
本次 Nginx Service 的核心配置如下:
apiVersion: v1
kind: Service
metadata:
name: nginx-demo
namespace: demo
spec:
selector:
app: nginx-demo
ports:
- port: 80
targetPort: 80
其中:
selector:
app: nginx-demo
非常重要。
Service 通过标签选择对应的后端 Pod。
如果 Service Selector 和 Pod Label 不匹配,就会出现一个常见问题:
Service 存在,但没有可用后端。
比如:
# Service
selector:
app: nginx-demo
但 Pod 实际是:
# Pod
labels:
app: nginx
两者不一致,就无法正常建立预期的后端关联。
排查命令:
kubectl -n demo get pods --show-labels
kubectl -n demo get svc nginx-demo -o yaml
所以排查 Service 时,不应该只看它有没有 ClusterIP。
更重要的是确认 Selector 和后端是否正常。
五、第三步:检查 EndpointSlice 和 Endpoints
这是本次实验中很重要的一步。
在 h11 执行:
kubectl -n demo get endpoints
真实输出中的 Nginx 后端为:
NAME ENDPOINTS
nginx-demo 10.244.1.140:80,10.244.1.231:80
这说明当前 Service 的后端地址包括:
10.244.1.140:80
10.244.1.231:80
这两个地址都是 Pod 网络中的地址。
5.1 EndpointSlice 是什么?
现代 Kubernetes 使用 EndpointSlice 表示 Service 的后端网络端点。
它包含的信息可以包括:
- 后端 IP
- 端口
- 协议
- Endpoint Ready 状态
- Endpoint 所在节点
可以通过下面的命令查看:
kubectl -n demo get endpointslice \
-l kubernetes.io/service-name=nginx-demo
查看更详细的内容:
kubectl -n demo describe endpointslice \
-l kubernetes.io/service-name=nginx-demo
如果 EndpointSlice 里的地址与实际 Pod IP 一致,并且 Ready 状态正常,就说明 Service 后端发现与就绪关系符合预期。
需要注意:
EndpointSlice 正常不等于数据包一定可以到达后端。
例如 NetworkPolicy、CNI 数据面或者应用端口异常,仍然可能造成访问失败。
它只能帮助我们缩小故障范围。
5.2 Cilium Ingress 的特殊 Endpoint
本次输出中还存在:
service/cilium-ingress-nginx-demo
对应一个 LoadBalancer Service。
同时可以看到类似:
192.192.192.192:9999
这样的 Endpoint。
这与普通 Nginx Service 后面的 Pod IP 不同。
在 Cilium Ingress 的实现中,可能出现用于代理流量路径的特殊逻辑地址。
因此,不能仅凭它不是实际 Pod IP 就认定网络异常。
排查时应分别检查 Cilium Ingress 的代理链路和业务 Service 的后端。
六、第四步:从 Kubernetes 内部测试 Nginx
如果我们要排查一个外部访问故障,最好先判断:
集群内部能不能访问 Service?
这一步可以把问题划分成两类:
集群内部访问失败
→ 优先检查 Pod / Service / DNS / CNI / NetworkPolicy
集群内部访问成功,外部访问失败
→ 重点检查 Ingress / LB / DNS / Route / ARP / 防火墙
下面是可以补充执行的验证方法。
创建测试 Pod:
kubectl -n demo run curl-client \
--image=curlimages/curl:8.11.1 \
--restart=Never \
--command -- sleep 3600
等待就绪:
kubectl -n demo wait \
--for=condition=Ready \
pod/curl-client \
--timeout=120s
执行:
kubectl -n demo exec curl-client -- \
curl -v http://nginx-demo
或者使用完整 Service 域名:
kubectl -n demo exec curl-client -- \
curl -v \
http://nginx-demo.demo.svc.cluster.local
如果可以获得 HTTP 正常响应,说明当前测试请求能够通过集群内部 Service 访问应用。
如果访问失败,可以继续检查:
kubectl -n kube-system get pods
kubectl -n demo get networkpolicy
kubectl -n demo describe svc nginx-demo
以及对应的 Cilium 状态。
测试完成后删除临时 Pod:
kubectl -n demo delete pod curl-client
说明:这是补充排障方法,不属于本次 h11、h16 两张截图已经直接证明的测试结果。
七、第五步:检查 Cilium Ingress
Pod、Service 和后端关系确认后,接下来检查 Ingress。
执行:
kubectl -n demo get ingress
本次实验实际输出:
NAME CLASS HOSTS ADDRESS
nginx-demo cilium demo.nativeopslab.local 192.168.6.61
可以确认:
- Ingress 名称为
nginx-demo - IngressClass 为
cilium - Host 为
demo.nativeopslab.local - Ingress ADDRESS 为
192.168.6.61
7.1 Ingress 核心配置
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: nginx-demo
namespace: demo
spec:
ingressClassName: cilium
rules:
- host: demo.nativeopslab.local
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: nginx-demo
port:
number: 80
这个配置的含义是:
当 HTTP 请求匹配:
Host: demo.nativeopslab.local
Path: /
就将请求交给:
nginx-demo Service
Port 80
7.2 为什么不能只 curl Ingress IP?
假设执行:
curl http://192.168.6.61
这个请求默认使用 IP 作为 HTTP Host。
但 Ingress 配置匹配的是:
demo.nativeopslab.local
因此直接访问 IP 可能无法匹配预期的路由。
更准确的测试方法是:
curl -v \
-H 'Host: demo.nativeopslab.local' \
http://192.168.6.61/
或者:
curl -v \
--resolve demo.nativeopslab.local:80:192.168.6.61 \
http://demo.nativeopslab.local/
--resolve 可以为当前 curl 请求指定域名对应的 IP,同时保留正确的 Host。
这在排查 DNS 和 Ingress 问题时非常有用。
八、第六步:检查 Cilium Ingress LoadBalancer
本次 Kubernetes 实验环境启用了 Cilium Ingress。
在查询 Service 时,可以看到:
NAME TYPE EXTERNAL-IP
cilium-ingress-nginx-demo LoadBalancer 192.168.6.61
对应端口:
80:30754/TCP
443:31580/TCP
这说明对应的 Ingress Service 已取得一个 LoadBalancer 地址。
但是:
LoadBalancer 分配了 IP,不代表客户端一定能够访问它。
还需要确认以下几个方面。
8.1 地址是否真正可达?
查看:
kubectl -n demo get svc \
cilium-ingress-nginx-demo -o wide
8.2 Cilium 状态是否正常?
kubectl -n kube-system get pods \
-l k8s-app=cilium -o wide
如果安装了 CLI:
cilium status
8.3 Envoy 是否正常?
kubectl -n kube-system get pods | grep envoy
根据实际组件部署方式,继续检查相关日志。
8.4 LoadBalancer IP 由谁负责发布?
这一点也需要注意。
虽然实验室同时安装了 MetalLB 和 Cilium,但不能因为 MetalLB 存在,就直接认定某个 Ingress IP 一定由 MetalLB 发布。
需要结合当前的 IPAddressPool、L2Advertisement、Cilium 的地址通告配置和 Service 实际状态判断。
如果确认地址由 MetalLB L2 模式负责发布,可以进一步检查:
kubectl -n metallb-system get pods
kubectl -n metallb-system get ipaddresspools
kubectl -n metallb-system get l2advertisements
对于二层网络,还要检查 ARP 是否正常。
九、第七步:从集群外 h16 实际验证
前面的检查大多在 Kubernetes 集群内完成。
但我们的最终目标是:
让集群外部的 h16 访问 Nginx。
这也是整个实验最关键的一步。
9.1 查看 h16 网络信息
在 h16 执行:
ip -br addr
查看 IP 地址。
再查看路由:
ip route
进一步检查:
ip route get 192.168.6.61
如果 h16 与 Ingress IP 位于同一二层网络,也可以查看邻居表:
ip neigh show 192.168.6.61
如果看到 INCOMPLETE 或 FAILED,说明当前邻居解析可能存在问题,需要结合网络拓扑和 ARP 抓包继续确认。
9.2 实际执行 curl
本次我在 h16 上执行:
curl demo.nativeopslab.local
实际返回:
<!DOCTYPE html>
<html>
<head>
<title>NativeOpsLab</title>
</head>
<body>
<h1>NativeOpsLab</h1>
<p>Linux / Kubernetes / DevOps / Go</p>
<p>Kubernetes Demo Application</p>
</body>
</html>

这是本次实验的真实执行结果。
返回的 HTML 与之前部署的 Nginx ConfigMap 页面一致。
说明:
- h16 能够解析或映射测试域名。
- h16 能够通过当前网络路径发起 HTTP 请求。
- 请求成功到达能够处理该域名的 HTTP 服务。
- Nginx Demo 的预期页面成功返回。
结合之前确认的 Ingress 配置和 Service 后端关系,可以判断:
本次 Nginx Demo 的集群外 HTTP 访问链路已经打通。
9.3 再补充 HTTP 状态码验证
此前截图已经证明 HTML 返回成功,但没有直接显示状态码。
为了以后博客截图更加规范,建议增加:
curl -sS -o /dev/null \
-w 'HTTP Status: %{http_code}\nRemote IP: %{remote_ip}\n' \
http://demo.nativeopslab.local/
也可以执行:
curl -I http://demo.nativeopslab.local/
对于正常响应的 Nginx 页面,预期得到:
HTTP/1.1 200 OK
注意:HTTP 200 是预期结果,原始截图已经确认页面内容返回,但本文不把没有展示的状态码冒充为已记录的真实输出。

十、如果 h16 无法访问,应该怎么排查?
虽然本次实验最终访问成功,但真正有价值的是建立一套以后可以复用的排障流程。
建议先根据错误现象分类。
10.1 域名无法解析
可能出现:
curl: (6) Could not resolve host
首先检查:
getent hosts demo.nativeopslab.local
查看本地 hosts:
grep demo.nativeopslab.local /etc/hosts
如果使用本地 hosts 映射,需要确认类似:
192.168.6.61 demo.nativeopslab.local
也可以完全跳过 DNS 验证:
curl -v \
--resolve demo.nativeopslab.local:80:192.168.6.61 \
http://demo.nativeopslab.local/
如果 --resolve 成功,而普通域名访问失败,就应该优先排查域名解析环节。
10.2 Connection timed out
例如:
curl: (28) Connection timed out
优先检查:
ip route get 192.168.6.61
ip neigh show 192.168.6.61
还可以从 h16 抓包:
tcpdump -ni <实际网卡名> \
'arp or host 192.168.6.61'
观察:
- 是否发送 ARP Request
- 是否收到 ARP Reply
- 是否发送 TCP SYN
- 是否收到 TCP SYN-ACK
- 是否存在重复重传
如果 ARP 都没有正常解析,就没有必要一开始就检查 Nginx 的 HTML 内容。
应该先解决底层连通性问题。
10.3 Connection refused
例如:
curl: (7) Failed to connect
需要重点检查:
- IP 是否正确
- 目标端口是否监听
- LoadBalancer 数据面是否正常
- 防火墙是否拒绝连接
- 是否访问了错误的端口
Connection refused 说明连接请求遭到拒绝,但具体拒绝点还需要结合抓包与网络配置判断。
10.4 HTTP 404
假设访问返回:
HTTP/1.1 404 Not Found
重点检查:
kubectl -n demo describe ingress nginx-demo
包括:
- Host 是否匹配
- Path 是否正确
- IngressClass 是否正确
- 是否访问了预期的 HTTP 服务
但要注意,404 也可能来自后端 Nginx 或业务程序,不一定就是 Ingress 产生的。
10.5 HTTP 502 / 503
如果出现:
502 Bad Gateway
或者:
503 Service Unavailable
可以检查:
kubectl -n demo get pods -o wide
kubectl -n demo get endpointslice \
-l kubernetes.io/service-name=nginx-demo
kubectl -n demo describe svc nginx-demo
以及:
kubectl -n demo logs \
-l app=nginx-demo \
--tail=100
继续结合 Envoy 日志和 Hubble 观察后端连接情况。
常见排查方向包括:
- Service 没有可用后端
- Pod 没有 Ready
- TargetPort 错误
- 后端监听异常
- 代理与后端协议不匹配
- NetworkPolicy 拒绝流量
不能只凭一个 HTTP 状态码就认定根因。
十一、NetworkPolicy 也可能导致服务访问失败
如果 Kubernetes 中使用了 NetworkPolicy,即使 Pod Running、Service 和 Ingress 都正常,流量也可能被策略拒绝。
查看:
kubectl -n demo get networkpolicy
如果使用 CiliumNetworkPolicy:
kubectl -n demo get ciliumnetworkpolicy
重点确认 Ingress 到应用 Pod 的实际流量是否允许。
如果有 Hubble,可以通过可视化界面或者 CLI 观察通信。
例如:
hubble observe --namespace demo
检查是否存在被拒绝的流量。
不过需要注意:
不要因为访问失败,就直接删除所有 NetworkPolicy。
这可能扩大安全暴露范围,而且不能证明根本原因。
更好的方法是:
观察被拒绝的流量
↓
确定源和目标
↓
找到匹配的策略
↓
修改最小必要规则
↓
重新验证
十二、整理一套 Kubernetes 网络排查顺序
通过这次实验,我认为排查 Kubernetes 外部访问问题时,最重要的不是记住某一条命令,而是先确定故障发生在哪一段。
我将排查流程整理如下:
外部访问失败
|
v
检查域名解析
|
v
检查客户端 Route / ARP
|
v
检查目标 IP / TCP 端口
|
v
检查 LoadBalancer 地址与发布方式
|
v
检查 Ingress Host / Path
|
v
检查 Service Selector / Port
|
v
检查 EndpointSlice / Ready
|
v
检查 Pod / 应用监听
|
v
结合 Cilium / Envoy / Hubble
与 NetworkPolicy 日志进一步定位
这不是规定所有故障都必须从上到下执行。
例如,如果 curl 已经返回 HTTP 404,说明请求至少到达了某个 HTTP 服务,下一步通常应优先检查 Host、Path 和路由,而不是重复检查所有基础 IP 配置。
如果连目标 IP 的 ARP 都解析失败,则应优先排查底层网络。
根据现象定位故障边界,比看到访问失败就重启组件更加有效。
十三、本次真实实验最终验收
截至本次记录,NativeOpsLab 的 Nginx Demo 已完成以下检查:
| 验收项目 | 实验结果 |
|---|---|
| Deployment 2/2 Ready | 通过 |
| 两个 Pod Running | 通过 |
| Service ClusterIP 正常 | 通过 |
| Endpoint 关联两个 Pod | 通过 |
| Cilium Ingress 创建成功 | 通过 |
| Ingress ADDRESS 为 192.168.6.61 | 通过 |
| h16 通过域名访问 Nginx | 通过 |
| 返回预期 NativeOpsLab HTML | 通过 |
| HTTP 状态码独立截图 | 通过 |
本次真实访问链路可以概括为:
h16
|
| curl demo.nativeopslab.local
|
v
192.168.6.61
|
v
Cilium Ingress / Envoy
|
v
nginx-demo Service
|
v
Nginx 后端 Pod
|
v
NativeOpsLab HTML
因此,NativeOpsLab 实验室建设 Step 03:标准 Demo App + 集群外访问验证,正式完成。

十四、总结:Pod Running 不是服务验收的终点
通过这次 Kubernetes 实验,我总结了五点。
第一,Pod Running 不等于应用一定可以访问。
需要区分 Pod 运行、就绪和业务实际响应。
第二,Service 创建成功不代表拥有正确后端。
需要检查 Selector、EndpointSlice 和后端就绪状态。
第三,Ingress 获得 External IP,不代表集群外部一定能够访问。
还需要检查域名、路由、地址可达性与 HTTP 路由规则。
第四,网络故障应该通过分层验证定位,而不是靠猜。
DNS、ARP、TCP、Ingress、Service 和 Pod 分别属于不同的检查范围。
第五,完整的 Kubernetes 服务验收,应该包含真实客户端的端到端访问。
这次我从集群外的 h16 成功获取到 Nginx 页面,才正式将 Demo App 的外部访问标记为完成。
对运维人员来说,真正需要掌握的不只是:
kubectl get pods
而是能够解释:
当一个客户端访问 Kubernetes 中的应用时,请求是如何进入集群、如何找到后端,以及当某个环节出现问题时,应该从哪里开始排查。
这也是我建设 NativeOpsLab 的目的。
不是单纯把组件安装起来。
而是建立一套能够重复实验、观察、排查、修复并留下技术记录的云原生环境。


