跳转至

笔记

导言

快速调研多模态强化学习及其ai infra(verl类似)的下一步方向、技术点和与LLM RL的差异点：

  • 说实话有点头大
  • 多模态理解模型的主体就是LLM，LLM的RL基本半年后会迁移到多模态理解上，所以我要跟踪LLM RL的文章
  • 多模态生成模型的RL偏向DPO为主的另一条路子；
  • 多模态还涉及agent、具身智能，RL又有些不同；
  • 文章多到看得头大。
  • 分类于 Programming
  • 需要 5 分钟阅读时间

Pytorch 2.5 ：Dataset & Dataloader

导言

  • 数据集与数据加载器：学习如何使用torch.utils.data.Dataset和DataLoader来加载和处理数据。
  • 数据预处理：介绍常用的数据预处理方法，如归一化、数据增强等。
  • 分类于 OOW
  • 需要 2 分钟阅读时间

Blind Date Tips

导言

相亲是展现真实自我，寻找志趣相投另一半的过程。

  • 分类于 AI
  • 需要 2 分钟阅读时间

Vllm Basic

导言

HW24年狠抓了训练，但是推理性能稍微落下，dsv3的出现，强化学习的爆火，反过来对推理性能提出了很高的要求。为此高性能的vllm推理框架变成了hw首先适配的目标。

  1. 一方面我需要大致了解vllm框架的设计，
  2. 另一方面，我主要需要关注vllm-ascend实现了哪些接口。
  • 分类于 Overview
  • 需要 1 分钟阅读时间

Code Project Reading

导言

来hw的这小半年成，从PTA到MM又来到DeepseekV3，接触了很多代码，但是却还是常陷入代码细节阅读困境，难以理解如天书般的垃圾代码。往往陷入代码细节，一读读几天，并且经常难以产出阶段性成果。

如何快速代码上手，

  1. 通过代码外资料(LLM介绍，流程结构图，开源完善实现),
    1. 快速理解代码背后的概念，。e.g.，MOE，EP
    2. 简单了解开源代码实现思路，亮点。
  2. 跑通最小样例，通过执行调用栈（类似VizTrace），从整体和上层来理解当前代码框架。
  3. 聚焦没有实现的代码部分，或者性能瓶颈，递归仔细分析。