一台虚拟机开机,电脑突然很多网站都访问不了;把虚拟机关掉,访问又恢复正常。
这是我在 Kubernetes 实验环境里遇到过的一次真实故障。第一反应很自然:Cilium 出问题了?MetalLB 抢了地址?DNS 不正常?还是新节点加入集群时配置有误?
最终,让问题消失的操作很简单:把 Windows 宿主机从 Wi-Fi 改为网线连接。
但这篇文章想记录的,不只是“插网线就好了”,而是如何从开关机现象,逐步找到 ARP、VIP 宣告节点和宿主机桥接链路之间的联系。
标题里的“整个网络都出问题了”,描述的是当时的使用感受。已有记录能确认的是电脑出现多站点访问异常,不能据此断言整个局域网或所有公网连接都中断。
1. 环境:同一个网段,两种虚拟化链路
当时的集群不是由完全相同的机器组成的。
| 项目 | 环境
| ------------ | ------------------------------
| h11–h23 | Rocky Linux 9 宿主环境上的 KVM 虚拟机
| h25 | Windows 宿主机上的 VMware Linux 虚拟机
| 局域网 | 192.168.6.0/24
| h11 地址 | 192.168.6.11
| h25 地址 | 192.168.6.25
| 网关 | 192.168.6.1
| 集群网络组件 | Cilium
| 外部服务地址宣告 | MetalLB,Layer 2 模式
| h25 宿主机原接入方式 | Wi-Fi,VMware 桥接到无线网卡
h25 是 Windows 上运行的 Linux VM,不是 Windows Kubernetes 节点。后续截图里,h25 已经是 Ready,显示 Kubernetes v1.28.15。
因此,这次故障更准确的说法是:新 VM 接入集群后引发访问异常,而不是 kubeadm join 一直没有成功。
“都在 192.168.6.0/24”只是地址配置相同,不能证明两种虚拟化链路的二层转发行为完全一致。
2. 最有价值的起点:故障与 h25 的开关机相关
当时的现象是:
- h25 开机后,电脑很多网站无法访问。
- h25 关闭后,访问恢复正常。
这组对比让我先把范围缩小到 h25 及其接入链路。
但它还不能直接证明是 h25 上的某一个组件出错。开机意味着很多事情同时发生:虚拟网卡接入、节点组件启动、网络状态变化,以及 MetalLB speaker 可能参与 VIP 宣告。
如果一上来就重装 Cilium、修改 DNS、重启所有网络组件,很容易丢失现场,也无法知道究竟哪个操作起了作用。
我需要先回答:h25 开机后,网络中究竟发生了什么变化?
3. ARP 对比:同一个 IP,两处看到的 MAC 不一样
排查时,h25 的地址配置是:
IP:192.168.6.25/24
网卡:eth0
MAC:00:0c:29:xx:xx:xx
在另一台节点 h11 上查看 ARP 表,却看到了:
192.168.6.25 → 28:cf:e9:xx:xx:xx
关键对比如下:
| 观察位置 | 对象 | 看到的 MAC |
| ------------- | ------------ | ----------------- |
| h25 的 ip addr | 自己的 eth0 | 00:0c:29:xx:xx:xx |
| h11 的 arp -n | 192.168.6.25 | 28:cf:e9:xx:xx:xx |
12:06 的截图中,h11 已能 ping 通 h25,两次探测没有丢包,但 ARP 对应的仍是后面这个 MAC。
历史排查记录中也曾出现针对 .25 的 incomplete 状态。需要注意截图所在的机器和采集时间:12:11 的 h25 截图里,它自己的 ARP 表也出现了 .25 的 incomplete 项,不能把所有 incomplete 都解释成“h11 始终无法访问 h25”。
一次 ARP 快照只代表某个时刻、某个观察点的状态。
MAC 不一致是一条值得调查的线索,但它本身并不能直接证明 IP 冲突。虚拟化桥接、中间设备代理或地址转换行为,都需要进一步核对。仅凭这两张图,也无法确认 28:cf:e9:03:57:85 究竟属于哪一块物理网卡。
这时,排查重点开始从集群组件扩大到宿主机和二层网络。
4. 为什么一台工作节点会影响集群入口?
另一个关键线索来自 MetalLB。
历史对话记录显示,cilium-ingress 的 VIP:
192.168.6.60
曾由 h25 宣告,之后转到了 h20。
这里要理解 Layer 2 模式的基本工作方式:对于一个 VIP,MetalLB 会选出节点,由该节点回应相应的 ARP 请求,让局域网客户端把发往 VIP 的流量送到它。[1]
这意味着,h25 即使只是后来加入的工作节点,也可能成为某个服务的外部流量入口。
因此,问题不能只问“h25 自己能不能联网”,还要问:
当入口 VIP 由 h25 宣告时,外部客户端能不能通过 Windows、VMware 和物理网卡这段链路正确到达它?
一个容易忽略的区别是:
| 检查结果 | 能说明什么 | 不能证明什么 |
| ----------------------- | ---------------- | ------------------------------ |
| h25 是 Ready | 节点状态满足相关就绪条件 | 所有外部服务链路都正常 |
| 能 ping 通 h25 的节点 IP | 该时刻的节点 ICMP 路径可用 | LoadBalancer VIP 的 ARP 与业务访问正常 |
| Service 已分配 EXTERNAL-IP | 地址已分配 | 局域网客户端能访问该地址 |
| VIP 的 ARP 有回应 | 该观察点能获得二层响应 | TCP、TLS、HTTP 和后端应用全部正常 |
MetalLB 参与 VIP 宣告,是这次排查中的重要事实;但它本身不足以解释所有“公网网站打不开”的现象。要把每个失败网站都归因于同一机制,还需要对应的 DNS、路由和抓包记录。
5. 排查中的隔离措施:先不让 h25 宣告 VIP
为了缩小影响范围,当时给 h25 添加了这个标签:
kubectl label node h25 \
node.kubernetes.io/exclude-from-external-load-balancers=true \
--overwrite
随后检查:
kubectl get node h25 --show-labels
kubectl describe svc cilium-ingress -n kube-system
这个操作的目的是让 h25 退出外部负载均衡宣告候选范围,不是把它移出 Kubernetes,也不是禁止它运行普通 Pod。MetalLB 默认遵守该标签;如果部署时启用了忽略该标签的参数,需要另行核对。[2]
当时的截图确认:标签已经存在,h25 仍为 Ready。历史记录也显示入口 VIP 的宣告节点从 h25 转到了 h20。
这一步是隔离措施,不能替代对宿主机网络的继续检查。speaker Pod 仍然运行,也不代表标签没有生效;要看具体 VIP 的宣告情况。
此外,Service Events 里可能同时保留新旧节点的记录,应结合时间判断,不能看到一条旧的 h25 事件就认定切换失败。
6. 从两个观察点验证 VIP 的 ARP
当时还对 ArgoCD 的 VIP 做了检查:
192.168.6.63
它与前面 cilium-ingress 的 .60 是两个不同的 VIP,复盘时不能混为一个地址。
h11 上执行:
kubectl get svc -A -o wide | grep 192.168.6.63
arping -I eth0 -c 3 192.168.6.63
当时的回应 MAC 为:
52:54:00:xx:xx:xx
Windows 上检查:
arp -a | findstr 192.168.6.63
得到同一个 MAC。结合节点 ARP 信息,它对应 h20。h11 的三次 ARP 探测均收到了响应。
这证明在当时的观察点上,.63 的二层响应已对应到 h20。它是有价值的验证,但不等于所有网站、所有协议都已完成端到端测试。
7. 最终解决:Windows 宿主机改用网线
继续核对 VMware 网络设置,发现 VMnet0 桥接到了:
Broadcom 802.11n 无线网卡
这张配置截图,把“无线桥接”从猜测变成了明确的环境事实。
最终,我把 Windows 宿主机改为网线连接,之后问题解决。
需要分清两个结论:
**实际修复结果:**改用有线连接后,访问异常消失。
**技术机制判断:**原来的 Windows + VMware + Wi-Fi 桥接链路,是这次故障的重要嫌疑点;ARP 观察差异及 VIP 宣告节点变化,支持沿着这条链路排查。
现有记录没有完整的双端抓包,也没有在所有其他条件完全不变时重复切换无线、有线的对照实验。因此,不能进一步写成“已经证明某款驱动存在缺陷”“确定发生了 ARP 欺骗”,或“所有 Wi-Fi 桥接都不能运行 Kubernetes”。
同样,记录没有确认改接网线后是否移除了排除标签,所以不能据此声称 h25 已重新承担 VIP 宣告并通过验证。
这次复盘能确定的是:排查中隔离了 h25 的 VIP 宣告角色,最终通过改用网线解决了实际访问问题。
8. 如果再遇到一次,我会怎样排查?
下面是根据这次经验整理的检查顺序,并不是声称当时每条命令都执行过。
先记录影响范围
先把“网络不通”变成具体对象:失败的是哪个域名、哪个目标 IP、哪个端口?公网网站和集群入口是否同时失败?Windows 宿主机和其他节点是否表现一致?
保留一次 h25 开机前、开机后的对比结果,比同时改动五个配置更有价值。
再看地址、路由和邻居表
在相关 Linux 节点上:
ip -br addr
ip route
ip route get 192.168.6.25
ip neigh show
在 h11 上针对 h25:
ping -c 3 192.168.6.25
ip neigh show 192.168.6.25
在 Windows 上:
ipconfig /all
route print
arp -a
对同网段地址,重点看目标本身的 ARP;对公网地址,通常需要看下一跳网关的 ARP,而不是期待邻居表中出现公网服务器的 MAC。
然后核对 DNS 和真实业务连接
# 替换为实际失败的网站域名
dig <实际域名>
curl -v --connect-timeout 5 https://<实际域名>/
VIP 不一定回应 ICMP,不应把 ping VIP 作为唯一验收方式。应访问服务实际提供的端口,并保留正确的域名、Host 和 TLS SNI。[2]
有二层疑点时,做双端观察
在相关接口抓取 ARP:
sudo tcpdump -eni eth0 arp
同时从同一二层网络的另一台机器探测目标 VIP:
arping -I eth0 -c 3 192.168.6.63
重点核对:请求是否到达宣告节点?回复是否发出?客户端是否收到?同一个 VIP 的响应 MAC 是否异常变化?
接口名要按实际环境替换。单看一端的“已发送”,不能证明另一端已经收到。
最后检查宿主机与桥接映射
改接网线时,还应检查 Windows 实际使用的接口,以及 VMware VMnet0 当前桥接到哪块网卡。若仍桥接到原来的无线网卡,物理上插了网线也未必改变 VM 的路径。
这些是再次遇到问题时需要明确验证的步骤,不是对当时未保存操作的补写。
9. 这次排障留下的三个习惯
先确认报文路径,再决定查哪个组件。
浏览器报错不一定是 DNS;服务不可达也不一定是 Cilium。先把请求卡在哪一段弄清楚。
把“缓解措施”和“最终修复”分别记录。
排除 h25 的 VIP 宣告,可以缩小问题范围;改用网线,是这次实际解决访问异常的操作。两者都应记录,不能互相替代。
截图要标明机器、时间和目标地址。
h11 的 ARP 表、h25 的 ARP 表、.60 的宣告记录、.63 的探测结果,各自回答不同问题。只有放回正确的观察位置,证据才有意义。
那天我最先想到的是 Kubernetes 组件,最后却回到了宿主机的一块网卡和一根网线。
以后再遇到类似故障,我会先问自己:这次请求从客户端到服务,究竟经过了哪些接口?哪一段真的验证过,哪一段只是以为正常?
复盘材料与参考
当时的截图索引
以下是已核对的原始文件,便于配图;本文没有重绘或伪造终端输出。
| 时间 | 文件名 | ||
|---|---|---|---|
| 10 月 8 日 11:49 | h25 VMware 网络设置 ![]() | ||
| 10 月 8 日 12:06 | h11 ping h25 与 ARP 结果 ![]() | ||
| 8 月 18 日 12:11:28 | h11 网卡与 ARP 表 ![]() | ||
| 10 月 8 日 12:11:36 | h25 网卡与 ARP 表 ![]() | ||
| 10 月 8 日 12:51 | h25 排除标签、.63 的 Linux/Windows ARP 对比 ![]() | ||
| 10 月 8 日 13:00 | VMnet0 桥接 Broadcom 无线网卡 ![]() |
事实依据包括上述截图、当日排障对话,以及后来对最终处理结果的补充:Windows 宿主机接网线后问题解决。文中的再次排查清单是复盘整理,不是完整历史命令日志。
官方机制参考
- MetalLB:Layer 2 模式——用于解释 VIP 的 ARP 宣告机制。
- MetalLB:Troubleshooting——用于核对排除标签、ARP 验证和实际服务访问方法。文档中的 Wi-Fi 问题说明是一般背景,不能作为本次具体驱动故障的证明。








