Pytorch 2.5 ：Dataset & Dataloader
导言
- 数据集与数据加载器：学习如何使用torch.utils.data.Dataset和DataLoader来加载和处理数据。
- 数据预处理：介绍常用的数据预处理方法，如归一化、数据增强等。
笔记¶
Why Choose Quantitative Finance
导言
为什么之前认为金融只是调配资源，并不产生生产价值的我。也会想搞量化。
Blind Date 1st(2)
导言
第一次相亲(第二次见面)
VLA VLM + DiT
导言
自动驾驶 VLA（Vision-Language-Action）模型中，VLM 和 DiT 是两个核心组件。但很多人会有一个常见误解：DiT 是用来生成图片的。实际上，在自动驾驶场景中，DiT 更多是作为动作/轨迹生成器，而非图像生成器。
VLM 负责"看懂路况和指令"，DiT 负责"生成一段连续、平滑、多模态的驾驶动作/轨迹"。
DMD & DMDR
导言
多模态生成模型的推理速度一直受制于diffusion模型的多步去噪，这也限制了RL的迭代速度。为此DMDR解决了这个问题。可以结合DiffusionNFT+DMDR
Blind Date 1st
导言
第一次相亲
Blind Date Tips
导言
相亲是展现真实自我，寻找志趣相投另一半的过程。
Ideas around Vision-Language Models (VLMs) / Reasoning Models
导言
当前主流的多模态理解模型一般采用视觉编码器 + 模态对齐 + LLM的算法流程，充分复用已有视觉编码器的理解能力和LLM的基础能力。训练过程一般分为多个阶段，如先进行模态对齐的一阶段预训练，然后进行二阶段的参数微调。
排行榜:
torchrun
导言
vllm 的ray后端属实奇诡，ray stop有残留，flush打印被吞（虽然输出能标记ip，折叠重复，在master输出），ray集群的环境变量固定不变导致DP无法实现多机。
为此考虑使用torchrun实现多机并行。
写得太好了，由浅入深。
Speculative Decoding & eagle3
导言
Speculative Decoding & eagle3 是种推理时计算换带宽的方法。