R2：480B 模型 KV Cache 长上下文测试

R2 测的是 480B 大模型八卡单实例这种标准生产部署下的长上下文冷恢复：FX100、本地 NVMe 单盘、不用外存现场重算三种做法，在并发 8、16、32 三档对照。

更新于 2026-11-12 · 芯元一（天津）半导体设备有限公司

R2 测了什么？

R2 测的是 480B 大模型八卡单实例这种标准生产部署下的长上下文冷恢复：FX100、本地 NVMe 单盘、不用外存现场重算三种做法，在并发 8、16、32 三档对照。

项目	内容
报告编号	R2
完整标题	FX100 KV Cache 性能测试（480B，TP8 长上下文，正式版）
日期	2026-07-05
测试平台	8 卡 AMD Instinct MI308X 单实例（TP=8），Qwen3-Coder-480B-FP8
原件获取	lvsuan.top 报告下载页

R2 的结论：相对本地 NVMe 单盘，FX100 让推理吞吐提升 29% 到 40%，首 token 延迟中位数降低 26% 到 32%；相对现场重算，并发 16 档快 8.6 到 20 倍。

出处：R2。并发 16 档另测了不用外存现场重算：首 token p50 为 149.48 秒，吞吐 4.1 tok/s。吞吐提升一列按表内读数换算。
并发	FX100 首 token p50	本地盘首 token p50	FX100 吞吐	本地盘吞吐	吞吐提升
8	7.53 秒	10.17 秒	56.6 tok/s	43.9 tok/s	+29%
16	11.85 秒	17.31 秒	74.9 tok/s	53.6 tok/s	+40%
32	26.35 秒	35.73 秒	71.6 tok/s	53.9 tok/s	+33%

■ FX100　■ 本地 NVMe 单盘　· 480B 模型推理吞吐（tok/s）· 出处 R2

■ FX100　■ 本地 NVMe 单盘　· 首 token 延迟中位数（越短越好）（秒）· 出处 R2

R1–R4 共用的测试平台。
项目	配置
算力卡	8 块 AMD Instinct MI308X，每卡 192GB HBM
CPU 与内存	2 颗 AMD EPYC 9654（384 线程），约 1.5TB 内存
软件栈	ROCm 7.2，vLLM 0.20.1+rocm721，LMCache（2026-06-29 上游主线源码编译）
被测存储	FX100 全闪 NVMe-oF 阵列，4 盘 RAID0（14TB，XFS），RoCEv2，单口 100GbE
对照基线	本地 NVMe 单盘（PCIe Gen4，2TB）；以及不用外存、现场重算
模型	Qwen3-Coder-480B-FP8（MoE，权重约 450GB）

R2 的负载是长上下文冷恢复，也就是缓存命中率高的场景，对照基线是本地 NVMe 单盘。一问一答的短请求不会有同样幅度的提升，引用时要说清负载。

FX100 在早期测试报告的文件名里叫 AISSD5000，更早也写作 WS5000 或 GP5000，个别报告署名为「铭信」（公司原名）。这些指的是同一款产品，本站统一用 FX 命名。

报告原件、复现脚本和原始数据都可以给到第三方核对。

R2 的原件在芯元一的报告下载站 lvsuan.top 的证据库里，文件名里的产品名可能是旧称 AISSD5000。本站只整理结论和条件，不重复托管文件，下载入口在这里。

可以引用，但要带上报告编号 R2 和测试条件，不要把它当成对你业务的承诺。更稳妥的是在联测里用你的负载复测，把复测结果写进验收条款。