Turing Machine & P versus NP problem
导言
在回顾数理逻辑的时候，又想起了NP问题，和NP完全的问题
笔记¶
Understand deeper ： Why xxx is useful?
导言
明白设计(数据构造，模型设计, 训练流程)的有效性，是抓住问题核心的关键。有助于在众多的AI论文里筛选出有效结论。
- 一些AI大厂只是通过不断的微调，消融尝试，堆砌最新的trick方法达到SOTA，再提出一些听上去make sense的观点来发论文。但是其观点的可迁移性难以保障。
- 但是一些研究人员专注在AI的有效性，可解释性的探索：虽然难有直接产出，但是对AI技术的未来方向提供了宝贵的信息。（e.g., 研究模型参数和层的有效性，流程的必要性）
通过这些宝贵的信息，才能渐渐知道能被时间检验过的经验是什么。
本文将聚焦于归档 有效性相关的工作。
Deploy Stable Diffusion to A100
导言
- 图片推理多采用各种GUI(ComfyUI, Stable Diffusion WebUI) 2
- 训练基于 kohya-trainer 和 GUI， 带标签的二次元图片数据可以从 danbooru 爬取。
- 模型和方法实现，如LyCORIS框架？ 从civitai免费下载
CV Model
导言
和AIGC 生图相关
Inference Optimization
导言
训练由于要计算并更新梯度，一般是计算密集。但是推理一般是访存密集。
AI Training Optimization
导言
训练由于要计算并更新梯度，一般是计算密集。但是推理一般是访存密集。
[LLM]: DeekSeekV3
导言
本来在多模态组，结果被拉去优化TX的dspv3部署，还是要熟悉相关概念逻辑。
LLM Model
LLM Model Basic
导言
LLM Prefill、decode、kvcache等概念
Classical AI Models
导言
机器学习和人工智能模型算法，从一开始模仿神经元设计，到现在根据任务定制或者基于naive的思想构建(例如对抗思想、感受野、注意力机制)。模型的设计可以说是日新月异，截然不同。但是从高性能计算的角度来看，还是离不开求导操作、矩阵操作、激活函数计算这几点。剩下值得考虑的就是寻找现有或者未来模型构成计算操作的最大公约数，来对其进行特殊软硬件设计加速。或者只是对现有模型的适配加速工作。