首页 / 知识库：KV Cache、首 token 延迟与 AI 存储选型
知识库
知识库：KV Cache、首 token 延迟与 AI 存储选型
知识库回答采购和技术评估时遇到的具体问题：KV Cache 分层是什么、首 token 延迟为什么高、存储测试报告怎么读。每篇只讲一个问题，数字带报告编号。
全部文章
知识库里的每篇文章只回答一个采购或技术评估中的具体问题。新文章只在确实有问题需要回答时才发布，宁可少一些，也不把同一件事重复讲。
2026-11-12KV Cache 分层是什么？KV Cache 是大模型处理上下文时算出的中间结果。分层是指显存放不下时，把它依次存到内存、本地盘和外部存储，再用到时读回来，不必重算。2026-11-12怎么读懂一份 AI 存储测试报告读 AI 存储测试报告，先看五件事：和谁比、跑什么负载、模型和平台多大、同一档测了几轮、第三方能不能复现。这五项不清楚的数字，不要写进采购文件。2026-11-12长上下文首 token 延迟为什么高？长上下文会话的首 token 延迟高，多半是因为这段上下文的 KV 缓存已被挤出显存，模型要先把历史内容重算一遍才能输出。上下文越长，这一步越久。2026-11-13GPU 利用率低显存却满了：KV Cache 占用的原因与判断GPU 利用率低但显存满了，常见原因是 KV Cache 占用。长上下文推理时，KV Cache 会随序列长度增长，挤占显存却不产生计算，导致利用率下降。
常见问题
知识库的文章是怎么写出来的？
文章都依据公司事实表撰写。其中一部分由内容系统自动起草，发布前经过数字校验和另一个模型的复审，在文末注明。全部文章的数字口径一致。
文章里的数字可以引用吗？
可以，请带上报告编号。文章只是对报告的解释，如果文章和报告原件有出入，以报告原件为准。需要原件可以到 lvsuan.top 的证据库下载，或联系我们索取。