方案 · 提效
存量 GPU 集群提效：先用足，再扩容
这项服务面向已经建好的 GPU 集群：不加卡，先把模型加载、模型切换和检查点写入这些环节里浪费的时间找出来并压下去，让现有的卡产出更多。
GPU 的时间都浪费在哪里？
常见的三处：换模型时等权重从慢存储加载，多块卡同时冷启动时抢读盘带宽，训练保存检查点时停下来等写盘。这些时间里 GPU 通着电，却没有产出。
| 环节 | 实测变化 | 条件 | 出处 |
|---|---|---|---|
| 模型切换 | 算力有效利用率 46.7% → 62.8% | 每小时切换 20 次 | R1 |
| 并发加载 | 墙钟时间快 16%，单模型加载快 30% | 8 卡同时冷读 | R1 |
| 检查点保存 | 178 秒 → 94 秒（1.9×） | 8 卡 32B LoRA，每份 65.6GB | R1 |
| 模型加载（对 NFS） | 691 秒 → 112 秒；1399 秒 → 150 秒 | 昇腾 910B，DeepSeek-32B 与 70B | R9 |
外部存储层能顶替一部分显存吗？
R5 的论证是可以：把 KV 缓存放到外部存储层，能替代 128GB 级别的显存驻留。测试在沐曦 N260 单卡上用 14B 模型完成，数字不和 MI308X 的结果混用。
对存量集群来说，这意味着显存紧张时不一定只有加卡一条路。是否适用于你的模型和会话分布，同样要在自己的环境里测。
提效项目怎么开始？
建议先做基线测量：在你的集群上记录加载时间、切换频率、检查点耗时和利用率，找出占比大的那一项，再针对它做改动并复测，前后数字都留档。
常见问题
模型切换频繁为什么会拉低利用率？
每次切换都要卸载旧模型、加载新权重，这段时间 GPU 不产出。R1 测得每小时切换 20 次时，用 FX100 加载可以把算力有效利用率从 46.7% 提到 62.8%。
检查点保存慢会影响训练吗？
会。保存检查点时训练是停着的。R1 里 8 卡 32B LoRA 每份快照 65.6GB，写慢存储要 178 秒，写 FX100 是 94 秒，持续写带宽从 3.26 GB/s 提到 6.40 GB/s。
我的集群用的是 NFS，换掉值得吗？
看加载和切换占多少时间。R9 在昇腾 910B 上对照 NFS：DeepSeek-32B 服务加载从 691 秒降到 112 秒，70B 从 1399 秒降到 150 秒。模型越大、换得越勤，越值得。