跳转至

笔记

劝退指南：不是博客，而是笔记，甚至是草稿

写笔记是为了让自己看懂，写博客是为了让别人看懂，不一样的，认真做好后者对自己各方面能力的提升会非常大（比如表达能力），其实很多时候记笔记就是写几段自己能看懂的表达，很随性，但写博客更像是写一篇论文，需要自己先彻底搞明白一个东西后才能输出1

我一直努力将内容写成博客。但是后来发现，根本没有时间和心思，来为别人解释很多事情。我的想法是最多是解释给多年后忘记一切的自己听，我还能快速看懂。能达到这点，这些内容的意义对于我就已经足够。

从读者的角度，我并不会推荐任何人阅读这个网站的内容：因为你会遇到以下令人烦躁的场景

  1. 完整性差：某些笔记写着写着就没有了，内容是残缺的。甚至只有一个标题。（这是因为我没有时间填充内容，或者我的研究和注意力转变方向了，弃坑了弃坑了~）
  2. 可读性一般：很少有起承转合的解释语句，笔记的内容逻辑几乎全部靠多级标题维持.
  3. 笔记间关联性低：从读者的角度是看不到本人是如何使用多级文件夹，来组织划分笔记间的内容逻辑。如果你在搜索栏找不到你想要的关键词，那大概率我没接触到这方面的内容。
知识是自然聚类和融合的，但需要两级的文档来过滤内容和撰写正文。小而全、无懈可击的内容应该是所追求的

导致这种情况，其实和我对知识产出过程的理解有关，我认为过程是 知识是自然聚类和融合的：

  1. 接触到领域对象(新建文件夹)
  2. 阅读各种文献网站(零散的知识进行简单的聚类)
  3. 上手实践和研究(踩了许多坑，有或多或少的感悟)。

而且三者的占比是前面远大于后面，这样看来我这网站大部分的内容岂不是都是笔记的草稿。

我以这样的方式撰写我的正式的毕业论文时，发现这样的处理有利有弊：

  1. 优势：
    1. 速度？：能快速的罗列出内容，填充了大量垃圾内容
    2. 完备性：保留所有必要的相关信息，
  2. 劣势：
    1. 对工作进度的误判：罗列的大量页数迷惑了自己，以为进度很快。其实仔细思路内容的有效性、逻辑关联性。核心观点的提炼。遣词造句都极其耗费时间。
      1. 最重要是导致只看页数的领导对你工作速度的误判导致的嫌弃：一周前就看见里论文写了60页了，怎么两周了还没写完。或者你都60页了快结束了，来帮帮我弄这个~阿米诺斯~
    2. 需要返工：重新整理罗列的垃圾内容，至少需要三倍以上的时间才能整理好。

总结：知识是自然聚类和融合的思想是没错的，但是在实际生产应用时需要两级的信息筛选过滤体系：区分出正文内的todo内容和未整理的archived信息。通过将罗列的完备信息初步分类归档(有基础的逻辑)以待后续使用，正文精心撰写每一句话保证不需要大量返工。

  1. 你们坚持写 blog 的原因是什么？ ↩

  • 分类于 Overview
  • 需要 1 分钟阅读时间

QCC：Quality Control Circle

导言

QCC（Quality Control Circle, 质量控制小组）：由一小群员工组成的团队，定期开会以识别、分析和解决与工作相关的质量问题。起源于日本，广泛应用于制造业、医疗保健和服务行业。

也被用在华为的开发流程中，用于发现问题，分析、设计并解决问题，最后落回版本能力。

  • 分类于 AI
  • 需要 1 分钟阅读时间

SGLang

导言

  • SGLang ， 24年1月开源，这是一个由 LMSYS Org 团队开发的、面向大语言模型（LLM）和视觉语言模型（VLM）的高性能、开源通用服务引擎。
  • 性能更加惊艳。在运行 Llama 3.1 405B 时，它的吞吐量和延迟表现都优于 vLLM 和 TensorRT-LLM，甚至能达到 TensorRT-LLM 的 2.1 倍，vLLm 的 3.8 倍。
  • 业界 xAI 的 Grok2 目前已采用 SGLang 作为其 LLM 推理引擎， 显著提升了分析信息和输出响应速度。Microsoft Azure 使用 SGLang。
  • 分类于 AI
  • 需要 1 分钟阅读时间

DiffSynth & ms-swift

导言

DiffSynth-Studio 是由魔搭社区（ModelScope, 阿里2022年11月开源的模型社区）算法工程师段忠杰主导开发的开源扩散模型引擎，致力于构建统一的 Diffusion 模型生态。该项目支持多种主流文生图/文生视频模型（如 Stable Diffusion、可图、CogVideoX），并兼容 ControlNet、LoRA、IP-Adapter 等生态模型，显著提升中文场景下的生成能力。1

ms-swift3是魔搭社区提供的大模型与多模态大模型微调部署框架，现已支持600+纯文本大模型与300+多模态大模型的训练（预训练、微调、人类对齐）、推理、评测、量化与部署。

  • 其中大模型包括：Qwen3、Qwen3-Next、InternLM3、GLM4.5、Mistral、DeepSeek-R1、Llama4等模型，
  • 多模态大模型包括：Qwen3-VL、Qwen3-Omni、Llava、InternVL3.5、MiniCPM-V-4、Ovis2.5、GLM4.5-V、DeepSeek-VL2等模型。

除此之外，ms-swift汇集了最新的训练技术，包括集成

  • Megatron并行技术，包括TP、PP、CP、EP等为训练提供加速，
  • 以及众多GRPO算法族强化学习的算法，包括：GRPO、DAPO、GSPO、SAPO、CISPO、RLOO、Reinforce++等提升模型智能。
  • DPO、KTO、RM、CPO、SimPO、ORPO等偏好学习算法，
  • 以及Embedding、Reranker、序列分类任务。

ms-swift提供了大模型训练全链路的支持，包括使用

  • vLLM、SGLang和LMDeploy对推理、评测、部署模块提供加速，
  • 以及使用GPTQ、AWQ、BNB、FP8技术对大模型进行量化。
  • 分类于 AI
  • 需要 1 分钟阅读时间

VeOmni

导言

VeOmni 是字节跳动与火山引擎联合研发的 统一多模态训练框架，核心目标是解决多模态模型（如 DiT、LLM、VLM、视频生成模型）训练中的碎片化问题，实现 “统一多模态、统一并行策略、统一算力底座”。其经过千卡级真实训练任务验证，支持从百亿级语言模型到 720P 视频生成模型的全流程训练。1

  • 分类于 Tutorials
  • 需要 7 分钟阅读时间

Pip Cache

导言

VeRL场景开发时，安装包特别多和复杂：

  1. CANN
  2. torch\torch_npu
  3. vllm\vllm_ascend
  4. MindSpeed\megatron
  5. transformer

开发时还要pip install -e . 还要修改代码。

传统的思路是docker镜像或者conda打大包，但是这种包一个就是20GB+，但是这是商发时的策略，开发时即使只是修改一行，但是还是要重新出一个20GB大包。

思路是借助并加速pip的原子化构建：

  • 在内网服务器上建立一个pip包缓存站，
  • 不仅能缓存官方包，
  • 自己修改的代码包也能提交。
  • 最终实现，除了CANN安装，其余pip包，一行pip intall -r requirements.txt就行。

Omni-Modal: AR vs DiT

导言

全模态大模型（Omnimodal Large Models, OLMs），以下简称Omni模型，有时也称之为“端到端多模态大模型”。 它主要解决的文本、图片、语音多模态理解与实时交互的协同问题(图片修改)，最新的研究也会涉及统一推理和图像生成。

当前多模态设计中AR和DiT的组合关系，单独学习一下

  • 分类于 AI
  • 需要 3 分钟阅读时间

vllm-omni

导言

vllm专门为了多模态单独推出了推理框架vllm-omni，调研一下