vLLM中的分层KV缓存卸载

要点 1

一个以主机为中心的框架，用于跨主机内存、文件系统、对象存储和远程对等点扩展 KV 缓存 - 减少重新计算并提高服务容量。