• 2025年3月17日
• 分类于 AI
• 需要 2 分钟阅读时间

Vllm Basic

导言

HW24年狠抓了训练，但是推理性能稍微落下，dsv3的出现，强化学习的爆火，反过来对推理性能提出了很高的要求。为此高性能的vllm推理框架变成了hw首先适配的目标。

1. 一方面我需要大致了解vllm框架的设计，
2. 另一方面，我主要需要关注vllm-ascend实现了哪些接口。