一、为什么 CPU 不高,服务器仍可能很慢?

运维中经常遇到三种看似矛盾的现象:

  • 一个进程显示 CPU 100%,但服务器整体 CPU 使用率并不高。
  • Load Average 很高,而 top 中的 CPU 空闲比例仍然很大。
  • CPU 不忙,应用响应却很慢,磁盘延迟、等待队列或其他依赖可能成为瓶颈。

这些现象并不矛盾,因为 CPU 使用率、Load Average 和磁盘 I/O 延迟测量的是不同事情。

本文沿用 NativeOpsLab 的三组实验:

实验研究问题核心工具
Day 8 / #001单核 100%,是否等于整机 CPU 满载?stress-ng、mpstat、pidstat
Day 9 / #002Load 高但 CPU 不高,为什么?uptime、vmstat、mpstat、ps
Day 10 / #003CPU 不忙,如何判断是否是磁盘 I/O 问题?fio、iostat、vmstat、pidstat

最终目标不是背几个命令,而是能通过指标判断:任务究竟在执行、排队,还是等待其他资源。

二、实验环境和安全边界

本系列使用 NativeOpsLab 的集群外实验机 h16(Rocky Linux 9),不在 Kubernetes 控制面 h11,也不在承载服务的 h12~h15 上制造压力。

Kubernetes 集群:h11~h15
            │
            │ 独立实验、互不干扰
            ▼
h16(Linux 性能实验机)
  ├─ CPU / 单核亲和性实验
  ├─ 调度队列 / Load Average 实验
  └─ 受控的本地磁盘 I/O 实验

h16 曾按 2 vCPU 规划,但实际 CPU 数量必须以执行命令得到的结果为准。虚拟机的 CPU 调度、存储后端和其他负载会影响测试结果。

2.1 安装工具

在 h16 上执行:

sudo dnf install -y stress-ng sysstat fio util-linux procps-ng

检查:

nproc
lscpu | grep -E '^CPU\(s\):|^Model name:'
free -h
lsblk -f
findmnt -T /var/tmp

创建实验目录:

mkdir -p ~/NativeOpsLab/experiments/linux/{001-cpu-high,002-load-average,003-io-wait}

安全要求: 所有压测都设置结束时间;磁盘测试只操作明确指定的临时文件;不要在根分区空间不足、宿主机存储紧张或业务运行期间强行提高负载。快照不等于数据备份。

三、CPU 使用率:一个进程 100% 是什么意思?

3.1 单核使用率与整机使用率不同

假设一台服务器有 2 个逻辑 CPU:

CPU使用率(示意)
CPU 0100%
CPU 10%
整机平均约 50%

如果某个单线程进程长期占满一个 CPU,它可能在 top 中显示约 100% CPU,但其他 CPU 仍然空闲。不同工具的 CPU 百分比统计口径可能不同;在多核机器上,一个多线程进程的进程级 %CPU 甚至可能超过 100%。

查看每个逻辑 CPU:

mpstat -P ALL 1 5

定位高 CPU 进程:

top
pidstat -u 1 5
ps -eo pid,ppid,psr,stat,%cpu,comm --sort=-%cpu | head -n 15

mpstat 的 %usr、%sys、%iowait、%idle 是不同时间类别。分析 CPU 真正忙于执行任务的时间时,不能把 iowait 误当成程序正在消耗 CPU 计算能力。

3.2 Day 8:单核压测实验

先查看允许使用的 CPU:

taskset -pc $$

下述命令要求 CPU 0 位于允许的 CPU 集合中。如果命令报 Invalid argument,需要选择实际允许的 CPU 编号。

在第一个终端启动 90 秒压测:

cd ~/NativeOpsLab/experiments/linux/001-cpu-high

uptime | tee before-uptime.txt
mpstat -P ALL 1 5 | tee before-mpstat.txt

taskset -c 0 stress-ng \
  --cpu 1 \
  --timeout 90s \
  --metrics-brief \
  > stress.log 2>&1 &
STRESS_PID=$!

在压力仍运行时采集:

mpstat -P ALL 1 5 | tee during-mpstat.txt
pidstat -u 1 5 | tee during-pidstat.txt
ps -eo pid,comm,psr,%cpu --sort=-%cpu | head -n 10

回到启动压测的终端,等压力结束:

wait "$STRESS_PID"
mpstat -P ALL 1 5 | tee after-mpstat.txt

预期现象(非实测): 若为 2 个逻辑 CPU,CPU 0 可能接近满载,而整机平均执行负载约为一半。具体数值受调度、虚拟化宿主负载和采样窗口影响。

3.3 如何判断 CPU 真正成为瓶颈?

不仅要看一个进程的 %CPU,还要一起看:

  1. 各逻辑 CPU 是否普遍繁忙。
  2. 是否存在长时间等待 CPU 的可运行任务。
  3. 是否有 CPU 亲和性、容器 CPU 配额或节流限制。
  4. 响应时间是否随 CPU 压力变化。

如果只有一个核心繁忙,应该优先检查单线程热点、线程亲和性或调度约束,而不是立即给整台服务器扩容。

四、Load Average:它为什么不等于 CPU 百分比?

4.1 uptime 中的三个数字

uptime

假设显示:

load average: 4.20, 3.10, 1.80

这是示例,三个值反映最近约 1、5、15 分钟的平均系统负载。它们不是百分比。

在 Linux 中,负载统计主要包括:

  • R 类: 正在 CPU 上运行,或处于可运行队列、等待 CPU 调度的任务。
  • D 类: 不可中断睡眠任务,常见于等待磁盘、网络文件系统等内核操作。

因此,Load 高可能源于 CPU 竞争,也可能源于不可中断睡眠任务堆积。

“Load 大于 CPU 数量就一定有性能故障”并不严谨:还要考虑持续时间、可用 CPU 集合、任务延迟、I/O 状态,以及容器 CPU 配额。

4.2 Day 9:八个任务竞争一个 CPU

以下命令让 8 个 CPU 压力工作进程被限制在 CPU 0,最长运行 240 秒:

cd ~/NativeOpsLab/experiments/linux/002-load-average

uptime | tee before-uptime.txt
vmstat 1 5 | tee before-vmstat.txt

taskset -c 0 stress-ng \
  --cpu 8 \
  --timeout 240s \
  --metrics-brief \
  > stress.log 2>&1 &
STRESS_PID=$!

sleep 90
uptime | tee during-uptime.txt
mpstat -P ALL 1 5 | tee during-mpstat.txt
vmstat 1 5 | tee during-vmstat.txt
pidstat -u 1 5 | tee during-pidstat.txt

观察工作进程:

ps -eo pid,ppid,stat,psr,%cpu,comm --sort=-%cpu | head -n 20
pgrep -af stress-ng

结束后(在启动的同一个终端):

wait "$STRESS_PID"
uptime | tee after-uptime.txt
mpstat -P ALL 1 5 | tee after-mpstat.txt

预期现象(非实测): CPU 0 可接近满载;其他 CPU 可能空闲,但多个任务挤在一个 CPU 的可运行队列上,系统 Load 会逐渐抬升。压力结束后 CPU 使用率会较快下降,Load Average 则因为具有时间平滑特性,通常不会立刻恢复到基线。

4.3 vmstat:区分运行队列与阻塞

vmstat 1 5
字段实际含义排查提示
r正在运行或等待运行的可运行任务数量高时考虑 CPU 竞争 / 亲和性 / 配额
b处于不可中断睡眠的任务数量高时结合 D 状态、I/O 和内核等待继续查
us用户态 CPU 时间占比应用计算负载
sy内核态 CPU 时间占比系统调用、中断、内核活动
idCPU 空闲时间占比不能单独判断业务是否卡顿
waCPU iowait 时间占比需结合设备延迟,不能直接等同磁盘利用率
siswap 换入量非零且持续时关注内存压力
soswap 换出量非零且持续时关注内存压力

vmstat 第一行通常是开机以来的平均统计,观察当前变化时应重点看后续采样行。

五、磁盘 I/O:CPU 空闲不代表应用响应快

5.1 先分清 iowait 和磁盘延迟

  • iowait: CPU 处于空闲且有未完成磁盘 I/O 的时间统计,不是进程等待 I/O 的精确时长。
  • r_await / w_await: iostat 统计的平均读/写请求完成延迟,通常包括排队和设备处理时间,单位为毫秒。
  • aqu-sz: 平均 I/O 队列长度。
  • %util: 统计周期内设备处理至少一个 I/O 的时间比例;对具备并行能力的 SSD/NVMe,不能简单用 %util=100% 判断性能极限。

查看:

iostat -y -xz 1 5
pidstat -d 1 5

-y 用于跳过自启动以来的首个累计报告(支持该选项的 sysstat 版本)。关注当前采样数据,而不是把首个累计值误认为当前故障时刻。

5.2 Day 10:使用 fio 进行受控 I/O 测试

先确认 h16 本地实验磁盘有足够空间,并且该路径没有重要业务文件:

df -hT /var/tmp
df -i /var/tmp
findmnt -T /var/tmp

创建仅供本次测试使用的目录:

sudo mkdir -p /var/tmp/nativeopslab-day10
sudo chown "$(id -u):$(id -g)" /var/tmp/nativeopslab-day10
cd ~/NativeOpsLab/experiments/linux/003-io-wait

uptime | tee before-uptime.txt
vmstat 1 5 | tee before-vmstat.txt
iostat -y -xz 1 5 | tee before-iostat.txt

启动最多约 90 秒、256MiB 测试文件的随机读写负载:

fio \
  --name=nativeopslab-io \
  --filename=/var/tmp/nativeopslab-day10/test.bin \
  --size=256M \
  --rw=randrw \
  --rwmixread=70 \
  --bs=4k \
  --ioengine=libaio \
  --iodepth=4 \
  --direct=1 \
  --numjobs=1 \
  --time_based \
  --runtime=90 \
  --group_reporting \
  --output=fio-result.txt &
FIO_PID=$!

在另一终端立即执行,确保采样发生在 fio 运行期间:

iostat -y -xz 1 10
vmstat 1 10
pidstat -d 1 5

也可以在相同工作目录分别保存这些输出。等待压测结束后:

wait "$FIO_PID"
cat fio-result.txt

重点阅读 fio 的 IOPS、BW、lat、clat 及不同分位数延迟(如 p95/p99,具体以输出为准)。

预期现象(非实测): 高负载时请求延迟、队列可能增加,但本实验不保证明显出现 iowait、D 状态或严重延迟,尤其是在高速 SSD 或缓存影响较大的环境中。不能为了制造截图而无限提高压力。

5.3 如何检查 D 状态?

ps -eo pid,ppid,stat,wchan:25,comm | awk '$3 ~ /^D/'

D 状态不等于硬盘故障。 如果存在 D 状态任务,应结合 wchan、内核日志、NFS 状态、块设备延迟等信息进一步判断;不要对未知 D 状态进程一律执行 kill -9。

5.4 测试后恢复

pgrep -af fio
uptime | tee after-uptime.txt
vmstat 1 5 | tee after-vmstat.txt
iostat -y -xz 1 5 | tee after-iostat.txt

rm -f /var/tmp/nativeopslab-day10/test.bin
rmdir /var/tmp/nativeopslab-day10

只删除上述实验专用文件和空目录,不要递归删除 /var/tmp。

六、把三类指标放在一起判断

现象候选原因下一步检查
单核接近 100%,其他核心空闲单线程热点、CPU 亲和性mpstat -P ALL、top -H、taskset -pc PID
全部 CPU 长时间高使用,r 较大CPU 资源竞争vmstat、pidstat -u、进程栈/火焰图
Load 高、整机 CPU 平均不高、r 较大任务集中在少数 CPU、CPU 配额或调度受限CPU 亲和性、cgroup CPU 配额与节流
Load 高、CPU 不高、b / D 状态任务增加不可中断等待,可能涉及存储/NFSps ... wchan、iostat、内核日志
CPU 不高、await 显著升高存储 I/O 延迟是重点嫌疑设备、文件系统、I/O 来源、应用延迟
CPU / Load / I/O 均正常,应用仍慢网络、锁竞争、数据库或外部依赖curl -w、ss、应用日志/链路追踪

这里都是定位方向,不是凭某一个数字就能做出的根因结论。

七、生产环境遇到卡顿,我会按什么顺序排查?

第一步:确认影响范围和时间点

date
uptime
who
journalctl --since '15 minutes ago' -p warning --no-pager | tail -n 80

先明确是整机慢、某个服务慢,还是偶发性慢。

第二步:看 CPU 是“真正繁忙”还是“单核热点”

mpstat -P ALL 1 5
pidstat -u 1 5
top -b -n 1 | head -n 25

第三步:看任务在运行还是等待

vmstat 1 5
ps -eo pid,ppid,stat,wchan:25,comm | head -n 40

如果 r 较高,继续检查 CPU 调度;如果 b、D 状态较多,继续调查内核等待。

第四步:看 I/O 延迟而非只看磁盘空间

iostat -y -xz 1 5
pidstat -d 1 5
df -hT
df -i

df 检查容量和 inode,iostat 检查吞吐、队列和请求延迟,二者解决的是不同问题。

第五步:关联到真实业务响应

对可访问的业务 URL 检查:

curl -sS -o /dev/null \
  -w 'dns=%{time_namelookup}s connect=%{time_connect}s first_byte=%{time_starttransfer}s total=%{time_total}s\n' \
  http://demo.nativeopslab.local/

这个域名是 NativeOpsLab 曾用于 h16 验证 Kubernetes Nginx 的实验域名。执行前需要确保解析和应用仍有效。time_starttransfer 是到首字节的累计时间,不等于纯后端处理时间。

真正的性能排障,应让系统指标、具体进程和业务响应三者相互印证。

八、三个常见误区与风险提醒

  1. 误区:一个进程 CPU 100% 就该扩容服务器。 先确认逻辑 CPU 数量、单核热点、亲和性以及线程模型。
  2. 误区:Load 高就是 CPU 使用率高。 Linux Load 还包含不可中断睡眠任务;它也不是百分比。
  3. 误区:iowait 高就代表硬盘坏了。 必须结合 await、队列、设备、内核日志及应用延迟判断。

生产环境尤其避免:

  • 在 Kubernetes 控制面或业务节点运行未经评估的 stress-ng / fio。
  • 在真实业务数据目录指定 fio --filename,测试有可能覆盖文件内容。
  • 用 kill -9 作为排障第一步,或对根分区制造“磁盘写满”故障。
  • 只观察一次 top 就确定根因,或把各工具不同统计窗口的数据强行作比较。

九、总结

本次专题最重要的结论是:

  • CPU 使用率:CPU 时间花在哪里,要区分单核与整机,并看采样口径。
  • Load Average:系统中有多少任务在运行、等待 CPU 或处于不可中断睡眠,不是 CPU 百分比。
  • 磁盘 I/O:吞吐量高不必然意味着服务慢,请求延迟与队列往往更能反映问题。

对应的排障思路可以概括为:

服务慢
  ↓
确认业务症状和时间窗口
  ↓
mpstat / pidstat:CPU 是否忙,哪个核和进程忙?
  ↓
vmstat / ps:任务在排队,还是不可中断等待?
  ↓
iostat / pidstat -d:I/O 请求是否变慢,谁在读写?
  ↓
结合应用响应、日志、网络和依赖,验证根因
  ↓
修复 → 再测 → 记录证据