Codex Model Speed Benchmark
导言
Codex 的 Fast 模式究竟快多少？Sol 与 Luna 谁输出更快？我在同一台 Mac、同一账号和同一时间窗口内，串行运行了 36 次真实请求：24 次约 10K 用户输入差分，12 次至少 10K 文本 token 的流式输出。结果很明确：Fast 将持续输出吞吐提高到约 1.50–1.53 倍，Sol 的流式速度只比 Luna 高 3.4%–5.6%；但输入处理速度被连接重试与缓存噪声淹没，本轮无法识别。
1-AI Systems¶
Echo Training Simulator
导言
Echo 是一个面向大规模分布式训练的混合性能模拟器：它先在少量真实 NVIDIA GPU 上逐 Rank 执行和计时，再用 NCCL 白盒公式、离散事件时间线以及 XGBoost 重叠减速模型，预测目标集群的单步时间。它模拟的是执行时序，不是张量数值、loss 或收敛过程。
截至本文固定的公开版本，Echo 已公开 workload tracer 与 slowdown predictor，但论文中的集成通信估算器和 timeline composer 尚未在仓库中找到；代码明显绑定 CUDA、NCCL 和 Nsight，没有开箱即用的 Ascend 支持。论文在 NVIDIA 测试域内给出 91.4% 平均预测准确率，以及 GPT-175B、96 张 H800 上约 8% 的单步时间误差，但这些数字不能直接外推到 Ascend。
SimAI Architecture
导言
SimAI 不是把上千张 GPU 在软件里逐晶体管复刻一遍，也不是实际训练一个没有数据的模型。它把训练框架、算子耗时、集合通信和网络拆成不同精度的模型，再用事件依赖重建一次迭代的时间线。本文基于 NSDI 2025 论文与固定版本源码，回答五个问题：它是什么、架构如何组织、是不是仿真、精度证据有多强，以及公开版是否支持 Ascend。
GLM Post-Training Open-Source Map
导言
GLM-5/5.2 已公开模型权重、技术报告、slime 大模型 RL 框架和部分昇腾训练/推理能力，但这些材料处在不同层次。论文公开、仓库中有同名函数、存在可运行 recipe、能够复现 GLM-5.2、已经打通 NPU 端到端，是五件不同的事。
本文不重复上一篇《GLM Post-Training Beyond SFT》的公式推导，而是把 Reasoning/Agentic/General RL、IcePop、TITO、DIS、DSA Indexer、Cross-Stage OPD、MOPD、SAO 与 CompactionRL 逐项落到公开仓库，回答三个工程问题：slime 里有什么、昇腾 NPU 到了哪一层、智谱/THUDM 还有哪些相关开源仓。
GLM Post-Training Beyond SFT
导言
部门要突破 GLM 模型的 NPU 原生训练，真正困难的不是把一个 GRPO loss 搬到 NPU，而是让 Actor 训练、推理 Rollout、Teacher Prefill、Verifier、权重同步和低精度数值形成闭环。
本文以 GLM-5 技术报告为主线，并补充 GLM-5.2 已公开的 SAO、CompactionRL 和十多个专家的并行 OPD。重点解释非 SFT 后训练中的 RL、OPD/MOPD，同时单独澄清 QAT 与量化：GLM-5 明确把 INT4 QAT 放在 SFT 阶段，它对 NPU 后训练很重要，但不是非 SFT RL 的一个阶段。
Computing Systems Optimization
导言
我的长期职业目标可以收束为一句话：理解软件计算逻辑，把它映射到计算、通信、存储和容量受限的硬件上，通过拆分、掩盖、流水和协同设计提高有效利用率；再把这套理解变成可扩展的性能模型、硬件建议与团队分工。
这不是“会调几个 Kernel”或“熟悉某个训练框架”的目标。我要培养的是从工作负载、系统、软件到硬件的完整判断力：知道数据从哪里来、何时产生、在哪里停留、被谁消费、为什么等待，以及增加哪一种资源才真正缩短端到端关键路径。
AI Optimization Stack
导言
“模型优化”“框架优化”“算子优化”和“软硬协同”经常出现在同一段讨论里，却不一定在回答同一个问题。本文建立一张七层诊断地图：先确认被控制的对象、真正变化的物理量和最后采用的验收指标，再判断优化属于哪一层。这个分层不是唯一的行业标准，而是一套避免跨层归因错误的工作方法。
AI Technology Value Stack
导言
最近我对应该长期研究什么技术产生了迷茫。我不喜欢人员管理：每个人的诉求和心思不同，统一理解、共情和换位思考会持续消耗精力。我更希望别人因为我的技术判断、工程能力和解决方案付费。
但“越底层越关键”“越难越值钱”“卖价越高工资越高”都不是可靠规律。AI 应用背后横跨算法、训练系统、推理服务、框架、操作系统、驱动、芯片、封装和晶圆制造；每一层的交易单位、商业模式、资本强度和劳动议价方式完全不同。本文用截至 2026 年 7 月 29 日可公开核验的价格、收入和工资数据，回答两个问题：钱在技术栈中如何流动，以及我应该站在哪个位置积累长期能力。
AI Startup Career Risk
导言
科技初创公司的 offer 往往把现金、成长和期权包装成一个总数，但三者面对的是完全不同的风险。本文先澄清国内初创公司融资、退出与失败数据的统计边界，再梳理智谱、MiniMax、月之暗面、阶跃星辰和上海人工智能实验室的融资、模型与上市事件，并以科大讯飞星火 X1、智谱、MiniMax、商汤和第四范式的公开披露区分研发工资与算力单位成本，最后拆解一份 月薪 68,000 元、两年 160 万元期权、模型 Infra 优化、11-10-6 的阶跃星辰 offer。结论不把媒体估值、内部价格或上市计划冒充现金，而是给出可复查的事实、主观情景区间和签约前问题清单。
Inference Quantization Formats
导言
W8A8、W8A4、W16A8 看似只差两个数字，实际可能对应完全不同的对象、尺度粒度、在线流程和硬件 kernel；FP8 与 MXFP8 都是八位元素，却又因块尺度而具有不同的数据布局。更容易误解的是，量化位宽、检查点大小和最低运行显存是三个不同问题。
本文先建立一套可复用的阅读方法，再用物理结构、实现逻辑、流程、时序和张量数据流解释常见路径，最后核对截至 2026-07-28 的 Qwen3.5、Kimi K3 和 GLM-5.2 开放权重。所有“多大”均来自当前 Hugging Face 仓库中 .safetensors 文件的实际字节和，而不是用参数量乘标称位宽反推。