ECS 实例反复冻结 —— 故障根因分析报告

实例:i-uf6****（已脱敏）（cn-shanghai）

主机名:my-ecs

系统:Rocky Linux 9.8 / 内核 5.14.0-687.47.1

规格:2 核 / 1.6GB 内存 / 40GB 系统盘

故障日期:2026-10-12

报告生成:2026-10-13

一、故障现象

实例在 2026-10-12 当天发生多次无预兆系统冻结：

现象特征：

二、根因定位

2.1 阿里云官方事件记录（决定性证据）

阿里云控制台「运维中心 → 系统事件」记录：

StoragePerformanceReachLimit = 存储性能达到规格上限。

事件时间与故障时间高度吻合（18:28 事件 ↔ 18:24 冻结）。

2.2 服务器内部实测数据（sar 历史记录）

2026-10-12 23:52:13 的磁盘 I/O 峰值：

Device  tps      rkB/s      wkB/s   await    %util
vda     1394.61  91394.73   5.87    139.60   61.42

关键特征：纯读操作（91MB/s 读 vs 5KB/s 写），这是"全盘/大范围扫描读取"的典型特征，而非正常业务流量。

2.3 系统快照监控（证明冻结前完全空闲）

崩溃前的系统监控（每分钟采样）：

21:14:01  load=0.00,0.02,0.08  mem=1013/1672MB
21:15:01  load=0.00,0.02,0.07  mem=1014/1672MB
21:16:01  load=0.00,0.01,0.07  mem=999/1672MB
21:17:01  load=0.00,0.01,0.06  mem=1002/1672MB
21:18:01  load=0.00,0.00,0.06  mem=1004/1672MB   ← 最后记录（系统完全空闲）
          ↓ 此后 49 分钟完全无记录（系统冻结）
22:07:01  load=2.39,0.67,0.23                     ← 用户重启后

崩溃前 CPU 负载为 0.00，内存充足（660MB+ 可用），系统无任何压力。

三、根因结论

完整因果链

阿里云安全组件（云盾 aegis / AliSecCheck）触发安全扫描
        ↓
全盘遍历读取文件（1394 IOPS，91 MB/s 纯读）
        ↓
超过实例云盘规格的 IOPS 上限
        ↓
阿里云限速 → 触发 StoragePerformanceReachLimit 事件
        ↓
I/O 请求阻塞（await 139ms，正常应 <5ms）
        ↓
进程全部阻塞在 D 状态（不可中断睡眠）
        ↓
系统整体失去响应（表现为"卡死"，控制台显示 CPU 80%）
        ↓
手动重启恢复，但扫描再次触发 → 周期性复发

排除项

四、验证实验

2026-10-12 22:50 停止云盾服务：

systemctl stop aegis.service
systemctl disable aegis.service

结果：从 22:50 起连续运行 14+ 小时，未再发生冻结。

（对比：实验前每隔数十分钟至数小时冻结一次）

结论：停止 aegis 服务后故障消失，验证了根因判断。

五、解决方案

短期（已验证有效）

长期（推荐）

从根源上提高 IOPS 上限

不适合有集中 I/O 的场景

六、技术要点总结

内核忙于处理 I/O 阻塞，CPU 时间消耗在等待上

IOPS 上限可能仅数百至数千