vLLM 上的 Flint 第 0 天支持
vLLM Blog · · 发布于 2026-11-04 · 3 分钟阅读
vLLM 从第一天起就支持 Flint 检查点（总计 40B，活动 2.5B），在一块 GPU 上解码单个请求的速度约为 500 tokens/s。
要点 1
vLLM 从第一天起就支持 Flint 检查点（总计 40B，活动 2.5B），在一块 GPU 上解码单个请求的速度约为 500 tokens/s。
SOURCES
共 1 个来源vLLM Blog · · 发布于 2026-11-04 · 3 分钟阅读
vLLM 从第一天起就支持 Flint 检查点（总计 40B，活动 2.5B），在一块 GPU 上解码单个请求的速度约为 500 tokens/s。
vLLM 从第一天起就支持 Flint 检查点（总计 40B，活动 2.5B），在一块 GPU 上解码单个请求的速度约为 500 tokens/s。