Understand deeper : Why xxx is useful?
导言
明白设计(数据构造,模型设计, 训练流程)的有效性,是抓住问题核心的关键。有助于在众多的AI论文里筛选出有效结论。
- 一些AI大厂只是通过不断的微调,消融尝试,堆砌最新的trick方法达到SOTA,再提出一些听上去make sense的观点来发论文。但是其观点的可迁移性难以保障。
- 但是一些研究人员专注在AI的有效性,可解释性的探索:虽然难有直接产出,但是对AI技术的未来方向提供了宝贵的信息。(e.g., 研究模型参数和层的有效性,流程的必要性)
通过这些宝贵的信息,才能渐渐知道能被时间检验过的经验是什么。
本文将聚焦于归档 有效性相关的工作。