一台虚拟机开机,电脑突然很多网站都访问不了;把虚拟机关掉,访问又恢复正常。

这是我在 Kubernetes 实验环境里遇到过的一次真实故障。第一反应很自然:Cilium 出问题了?MetalLB 抢了地址?DNS 不正常?还是新节点加入集群时配置有误?

最终,让问题消失的操作很简单:把 Windows 宿主机从 Wi-Fi 改为网线连接。

但这篇文章想记录的,不只是“插网线就好了”,而是如何从开关机现象,逐步找到 ARP、VIP 宣告节点和宿主机桥接链路之间的联系。

标题里的“整个网络都出问题了”,描述的是当时的使用感受。已有记录能确认的是电脑出现多站点访问异常,不能据此断言整个局域网或所有公网连接都中断。

1. 环境:同一个网段,两种虚拟化链路

当时的集群不是由完全相同的机器组成的。

| 项目           | 环境                            
| ------------ | ------------------------------ 
| h11–h23      | Rocky Linux 9 宿主环境上的 KVM 虚拟机  
| h25          | Windows 宿主机上的 VMware Linux 虚拟机 
| 局域网          | 192.168.6.0/24                
| h11 地址       | 192.168.6.11                   
| h25 地址       | 192.168.6.25                  
| 网关           | 192.168.6.1                    
| 集群网络组件       | Cilium                         
| 外部服务地址宣告     | MetalLB,Layer 2 模式           
| h25 宿主机原接入方式 | Wi-Fi,VMware 桥接到无线网卡         

h25 是 Windows 上运行的 Linux VM,不是 Windows Kubernetes 节点。后续截图里,h25 已经是 Ready,显示 Kubernetes v1.28.15。

因此,这次故障更准确的说法是:新 VM 接入集群后引发访问异常,而不是 kubeadm join 一直没有成功。

“都在 192.168.6.0/24”只是地址配置相同,不能证明两种虚拟化链路的二层转发行为完全一致。

2. 最有价值的起点:故障与 h25 的开关机相关

当时的现象是:

  • h25 开机后,电脑很多网站无法访问。
  • h25 关闭后,访问恢复正常。

这组对比让我先把范围缩小到 h25 及其接入链路。

但它还不能直接证明是 h25 上的某一个组件出错。开机意味着很多事情同时发生:虚拟网卡接入、节点组件启动、网络状态变化,以及 MetalLB speaker 可能参与 VIP 宣告。

如果一上来就重装 Cilium、修改 DNS、重启所有网络组件,很容易丢失现场,也无法知道究竟哪个操作起了作用。

我需要先回答:h25 开机后,网络中究竟发生了什么变化?

3. ARP 对比:同一个 IP,两处看到的 MAC 不一样

排查时,h25 的地址配置是:

IP:192.168.6.25/24
网卡:eth0
MAC:00:0c:29:xx:xx:xx

在另一台节点 h11 上查看 ARP 表,却看到了:

192.168.6.25 → 28:cf:e9:xx:xx:xx

关键对比如下:

| 观察位置          | 对象           | 看到的 MAC           |
| ------------- | ------------ | ----------------- |
| h25 的 ip addr | 自己的 eth0     | 00:0c:29:xx:xx:xx |
| h11 的 arp -n  | 192.168.6.25 | 28:cf:e9:xx:xx:xx |

12:06 的截图中,h11 已能 ping 通 h25,两次探测没有丢包,但 ARP 对应的仍是后面这个 MAC。

历史排查记录中也曾出现针对 .25 的 incomplete 状态。需要注意截图所在的机器和采集时间:12:11 的 h25 截图里,它自己的 ARP 表也出现了 .25 的 incomplete 项,不能把所有 incomplete 都解释成“h11 始终无法访问 h25”。

一次 ARP 快照只代表某个时刻、某个观察点的状态。

MAC 不一致是一条值得调查的线索,但它本身并不能直接证明 IP 冲突。虚拟化桥接、中间设备代理或地址转换行为,都需要进一步核对。仅凭这两张图,也无法确认 28:cf:e9:03:57:85 究竟属于哪一块物理网卡。

这时,排查重点开始从集群组件扩大到宿主机和二层网络。

4. 为什么一台工作节点会影响集群入口?

另一个关键线索来自 MetalLB。

历史对话记录显示,cilium-ingress 的 VIP:

192.168.6.60

曾由 h25 宣告,之后转到了 h20。

这里要理解 Layer 2 模式的基本工作方式:对于一个 VIP,MetalLB 会选出节点,由该节点回应相应的 ARP 请求,让局域网客户端把发往 VIP 的流量送到它。[1]

这意味着,h25 即使只是后来加入的工作节点,也可能成为某个服务的外部流量入口。

因此,问题不能只问“h25 自己能不能联网”,还要问:

当入口 VIP 由 h25 宣告时,外部客户端能不能通过 Windows、VMware 和物理网卡这段链路正确到达它?

一个容易忽略的区别是:

| 检查结果                    | 能说明什么            | 不能证明什么                         |
| ----------------------- | ---------------- | ------------------------------ |
| h25 是 Ready             | 节点状态满足相关就绪条件     | 所有外部服务链路都正常                    |
| 能 ping 通 h25 的节点 IP     | 该时刻的节点 ICMP 路径可用 | LoadBalancer VIP 的 ARP 与业务访问正常 |
| Service 已分配 EXTERNAL-IP | 地址已分配            | 局域网客户端能访问该地址                   |
| VIP 的 ARP 有回应           | 该观察点能获得二层响应      | TCP、TLS、HTTP 和后端应用全部正常         |

MetalLB 参与 VIP 宣告,是这次排查中的重要事实;但它本身不足以解释所有“公网网站打不开”的现象。要把每个失败网站都归因于同一机制,还需要对应的 DNS、路由和抓包记录。

5. 排查中的隔离措施:先不让 h25 宣告 VIP

为了缩小影响范围,当时给 h25 添加了这个标签:

kubectl label node h25 \
  node.kubernetes.io/exclude-from-external-load-balancers=true \
  --overwrite

随后检查:

kubectl get node h25 --show-labels

kubectl describe svc cilium-ingress -n kube-system

这个操作的目的是让 h25 退出外部负载均衡宣告候选范围,不是把它移出 Kubernetes,也不是禁止它运行普通 Pod。MetalLB 默认遵守该标签;如果部署时启用了忽略该标签的参数,需要另行核对。[2]

当时的截图确认:标签已经存在,h25 仍为 Ready。历史记录也显示入口 VIP 的宣告节点从 h25 转到了 h20。

这一步是隔离措施,不能替代对宿主机网络的继续检查。speaker Pod 仍然运行,也不代表标签没有生效;要看具体 VIP 的宣告情况。

此外,Service Events 里可能同时保留新旧节点的记录,应结合时间判断,不能看到一条旧的 h25 事件就认定切换失败。

6. 从两个观察点验证 VIP 的 ARP

当时还对 ArgoCD 的 VIP 做了检查:

192.168.6.63

它与前面 cilium-ingress 的 .60 是两个不同的 VIP,复盘时不能混为一个地址。

h11 上执行:

kubectl get svc -A -o wide | grep 192.168.6.63

arping -I eth0 -c 3 192.168.6.63

当时的回应 MAC 为:

52:54:00:xx:xx:xx

Windows 上检查:

arp -a | findstr 192.168.6.63

得到同一个 MAC。结合节点 ARP 信息,它对应 h20。h11 的三次 ARP 探测均收到了响应。

这证明在当时的观察点上,.63 的二层响应已对应到 h20。它是有价值的验证,但不等于所有网站、所有协议都已完成端到端测试。

7. 最终解决:Windows 宿主机改用网线

继续核对 VMware 网络设置,发现 VMnet0 桥接到了:

Broadcom 802.11n 无线网卡

这张配置截图,把“无线桥接”从猜测变成了明确的环境事实。

最终,我把 Windows 宿主机改为网线连接,之后问题解决。

需要分清两个结论:

**实际修复结果:**改用有线连接后,访问异常消失。

**技术机制判断:**原来的 Windows + VMware + Wi-Fi 桥接链路,是这次故障的重要嫌疑点;ARP 观察差异及 VIP 宣告节点变化,支持沿着这条链路排查。

现有记录没有完整的双端抓包,也没有在所有其他条件完全不变时重复切换无线、有线的对照实验。因此,不能进一步写成“已经证明某款驱动存在缺陷”“确定发生了 ARP 欺骗”,或“所有 Wi-Fi 桥接都不能运行 Kubernetes”。

同样,记录没有确认改接网线后是否移除了排除标签,所以不能据此声称 h25 已重新承担 VIP 宣告并通过验证。

这次复盘能确定的是:排查中隔离了 h25 的 VIP 宣告角色,最终通过改用网线解决了实际访问问题。

8. 如果再遇到一次,我会怎样排查?

下面是根据这次经验整理的检查顺序,并不是声称当时每条命令都执行过。

先记录影响范围

先把“网络不通”变成具体对象:失败的是哪个域名、哪个目标 IP、哪个端口?公网网站和集群入口是否同时失败?Windows 宿主机和其他节点是否表现一致?

保留一次 h25 开机前、开机后的对比结果,比同时改动五个配置更有价值。

再看地址、路由和邻居表

在相关 Linux 节点上:

ip -br addr
ip route
ip route get 192.168.6.25
ip neigh show

在 h11 上针对 h25:

ping -c 3 192.168.6.25
ip neigh show 192.168.6.25

在 Windows 上:

ipconfig /all
route print
arp -a

对同网段地址,重点看目标本身的 ARP;对公网地址,通常需要看下一跳网关的 ARP,而不是期待邻居表中出现公网服务器的 MAC。

然后核对 DNS 和真实业务连接

# 替换为实际失败的网站域名
dig <实际域名>
curl -v --connect-timeout 5 https://<实际域名>/

VIP 不一定回应 ICMP,不应把 ping VIP 作为唯一验收方式。应访问服务实际提供的端口,并保留正确的域名、Host 和 TLS SNI。[2]

有二层疑点时,做双端观察

在相关接口抓取 ARP:

sudo tcpdump -eni eth0 arp

同时从同一二层网络的另一台机器探测目标 VIP:

arping -I eth0 -c 3 192.168.6.63

重点核对:请求是否到达宣告节点?回复是否发出?客户端是否收到?同一个 VIP 的响应 MAC 是否异常变化?

接口名要按实际环境替换。单看一端的“已发送”,不能证明另一端已经收到。

最后检查宿主机与桥接映射

改接网线时,还应检查 Windows 实际使用的接口,以及 VMware VMnet0 当前桥接到哪块网卡。若仍桥接到原来的无线网卡,物理上插了网线也未必改变 VM 的路径。

这些是再次遇到问题时需要明确验证的步骤,不是对当时未保存操作的补写。

9. 这次排障留下的三个习惯

先确认报文路径,再决定查哪个组件。
浏览器报错不一定是 DNS;服务不可达也不一定是 Cilium。先把请求卡在哪一段弄清楚。

把“缓解措施”和“最终修复”分别记录。
排除 h25 的 VIP 宣告,可以缩小问题范围;改用网线,是这次实际解决访问异常的操作。两者都应记录,不能互相替代。

截图要标明机器、时间和目标地址。
h11 的 ARP 表、h25 的 ARP 表、.60 的宣告记录、.63 的探测结果,各自回答不同问题。只有放回正确的观察位置,证据才有意义。

那天我最先想到的是 Kubernetes 组件,最后却回到了宿主机的一块网卡和一根网线。

以后再遇到类似故障,我会先问自己:这次请求从客户端到服务,究竟经过了哪些接口?哪一段真的验证过,哪一段只是以为正常?


复盘材料与参考

当时的截图索引

以下是已核对的原始文件,便于配图;本文没有重绘或伪造终端输出。

时间文件名
10 月 8 日 11:49h25 VMware 网络设置
10 月 8 日 12:06h11 ping h25 与 ARP 结果
8 月 18 日 12:11:28h11 网卡与 ARP 表
10 月 8 日 12:11:36h25 网卡与 ARP 表
10 月 8 日 12:51h25 排除标签、.63 的 Linux/Windows ARP 对比
10 月 8 日 13:00VMnet0 桥接 Broadcom 无线网卡

事实依据包括上述截图、当日排障对话,以及后来对最终处理结果的补充:Windows 宿主机接网线后问题解决。文中的再次排查清单是复盘整理,不是完整历史命令日志。

官方机制参考

  1. MetalLB:Layer 2 模式——用于解释 VIP 的 ARP 宣告机制。
  2. MetalLB:Troubleshooting——用于核对排除标签、ARP 验证和实际服务访问方法。文档中的 Wi-Fi 问题说明是一般背景,不能作为本次具体驱动故障的证明。