推理性能提升13倍，延时缩短超4倍丨实测焱融YRCloudFile KVCache

为了验证将 GPU 内存扩展至 YRCloudFile KVCache 对 token 处理效率的显著提升效果，并充分展示焱融 AI 存储架构的卓越性能，我们进行了多轮测试。通过针对不同 token 数量和配置的测试，深入探索该架构在实际应用中的优化潜力。 以下测试均是基于原生 vLLM，以及 vLLM+YRCloudFile KVCache 进行的数据对比。

• 背景：输入长上下文，对比单次提问的回答总耗时（指超过 20K 长度的 token）

• 显卡：NVIDIA T4

• 模型：Qwen/Qwen2.5-7B-Instruct-GPTQ-Int4

• 测试方法：基于同样的上下文，使用相同的问题，通过 QA chatbot 上进行提问模拟