AI Model Design Effectiveness
导言
作为非AI从业者，而是（即将成为）HPC赋能AI的工作者。我一直在思考，我对AI模型的了解应该止步于什么程度？
从AI模型设计的有效性角度切入，应该是我的学习的Sweet Spot / tradeoff。
意义：明白哪些层和哪些参数是有效的，对于模型压缩(模型裁剪，权重剪枝)来说是必要。远比算子融合等带来的提升大。
有待了解的内容：
- 相对于领域的复杂的信息量，一个十层的模型竟然能将其表达，Miracle!
- 有研究表明模型的参数大部分都是无用的，如何判断，如何剔除。
困惑：如何证明网络是学习或存储了真实世界的内在关联，而不只是通过增大了训练数据量和参数而存储了问题的答案。（使用测试集的准确度来量化）
AI的现状/困境： 1. AI研究人员，由具体问题场景出发，利用已有的工具或者特殊设计网络来拟合/建模问题，尝试提取不知名的隐含的特征到网络中，来解决这一类问题。 2. 明显的缺陷：就是不可重复性，缺乏一个模型来统一描述世界的问题，每个问题都要单独设计。
对象：transformer, gpt, stable diffusion(先看效果，在看是否成熟到值得学习，之前生成的多指图简直是精神污染), YOLO。