跳转至

笔记

RL Next: Meta-Learning

导言

  • 背景问题：传统RL的算法和奖励都要特殊设计，并且不同领域迁移性很差；
  • 想法: 能不能系统自己迭代产生适合的RL算法
  • 构建一个能够表征广泛强化学习规则的搜索空间，让系统通过多代智能体在复杂环境中的交互经验，元学习（Meta-Learning）出最优的强化学习更新规则。1

Multimodal RL

导言

快速调研多模态强化学习及其ai infra(verl类似)的下一步方向、技术点和与LLM RL的差异点：

  • 说实话有点头大
  • 多模态理解模型的主体就是LLM，LLM的RL基本半年后会迁移到多模态理解上，所以我要跟踪LLM RL的文章
  • 多模态生成模型的RL偏向DPO为主的另一条路子；
  • 多模态还涉及agent、具身智能，RL又有些不同；
  • 文章多到看得头大。
  • 分类于 Programming
  • 需要 5 分钟阅读时间

Pytorch 2.5 ：Dataset & Dataloader

导言

  • 数据集与数据加载器：学习如何使用torch.utils.data.Dataset和DataLoader来加载和处理数据。
  • 数据预处理：介绍常用的数据预处理方法，如归一化、数据增强等。

VLA VLM + DiT

导言

自动驾驶 VLA（Vision-Language-Action）模型中，VLM 和 DiT 是两个核心组件。但很多人会有一个常见误解：DiT 是用来生成图片的。实际上，在自动驾驶场景中，DiT 更多是作为动作/轨迹生成器，而非图像生成器。

VLM 负责"看懂路况和指令"，DiT 负责"生成一段连续、平滑、多模态的驾驶动作/轨迹"。

DMD & DMDR

导言

多模态生成模型的推理速度一直受制于diffusion模型的多步去噪，这也限制了RL的迭代速度。为此DMDR解决了这个问题。可以结合DiffusionNFT+DMDR

  • 分类于 OOW
  • 需要 2 分钟阅读时间

Blind Date Tips

导言

相亲是展现真实自我，寻找志趣相投另一半的过程。

Ideas around Vision-Language Models (VLMs) / Reasoning Models

导言

当前主流的多模态理解模型一般采用视觉编码器 + 模态对齐 + LLM的算法流程，充分复用已有视觉编码器的理解能力和LLM的基础能力。训练过程一般分为多个阶段，如先进行模态对齐的一阶段预训练，然后进行二阶段的参数微调。

排行榜: