VeRL Checkpoint
导言
RL checkpoint 比普通 SFT checkpoint 更复杂，因为它不仅要保存模型参数，还要保存 optimizer、scheduler、global step、采样状态，以及在异步模式下可能存在的队列和策略版本状态。
1. 主问题¶
- checkpoint 到底保存哪些 state。
- 保存时是否阻塞训练主流程。
- 恢复后能否保证数据、权重、优化器和 step 一致。
- mooncake checkpoint 相比 baseline 解决了什么问题。
2. Baseline Checkpoint Flow¶
2.1 需要保存的对象¶
- actor model weights
- optimizer state
- scheduler state
- global step / epoch
- dataloader state
- RNG state
- tokenizer / config / metadata
- 如果存在 critic / reward model，也要确认是否保存
2.2 恢复语义¶
- 恢复后 step 是否连续。
- optimizer state 是否完整。
- LR scheduler 是否从正确位置继续。
- 如果中断发生在 step 中间，恢复到 step 前还是 step 后。
3. Mooncake Checkpoint¶
待验证
mooncake checkpoint 的准确开关、依赖、存储后端、分片格式、异步保存语义，都需要回到代码和部署文档确认。
需要回答：
- 如何开关：环境变量、配置项还是插件方式。
- 代码位置：checkpoint manager、worker、storage adapter 还是 Ascend 平台层。
- 保存格式：单文件、多分片、对象存储、分布式文件系统。
- 一致性：异步保存是否需要 barrier，失败时如何回滚。
- 恢复速度：相对 baseline 是否显著降低 restore time。
4. 为什么默认不开¶
- 依赖外部存储或平台能力。
- 不同集群的权限、网络和文件系统差异大。
- 小模型或低频保存时收益不明显。
- 恢复语义和失败恢复需要更严格验证。
5. 对 MFU / SMA 的作用¶
- checkpoint 不直接提升 kernel 算力利用率。
- 它通过减少保存时的阻塞时间，提高长跑任务的有效训练时间占比。
- 对客户视角，重点不是单步 MFU，而是 长时间训练可用吞吐 和 失败恢复成本。
6. DFX 指标¶
- checkpoint duration
- blocked time
- save bandwidth
- restore duration
- checkpoint size
- save failure count
- restore success rate
- checkpoint interval 与训练吞吐的关系
7. 常见失败模式¶
- 保存不完整但元数据标记成功。
- actor 和 optimizer state 不一致。
- 异步 checkpoint 与训练 step 交错导致恢复错位。
- 多 rank 分片缺失。
- 权限或文件系统异常导致长时间阻塞。