Artificial Intelligence¶

机器学习和人工智能模型算法，从一开始模仿神经元设计，到现在根据任务定制或者基于naive的思想构建(例如对抗思想、感受野、注意力机制)。模型的设计可以说是日新月异，截然不同。但是从高性能计算的角度来看，还是离不开求导操作、矩阵操作、激活函数计算这几点。剩下值得考虑的就是寻找现有或者未来模型构成计算操作的最大公约数，来对其进行特殊软硬件设计加速。或者只是对现有模型的适配加速工作。

2023年12月17日
分类于 Artificial Intelligence
需要 1 分钟阅读时间

Deploy OpenLLM to one A100

导言

Practice is the best teacher in learning.

2023年9月27日
分类于 Artificial Intelligence
需要 8 分钟阅读时间

Introduction to AI and Machine Learning Basics

摘要

AI相关的基础知识。可以参考华为昇腾架构师的博客。

2023年8月29日
分类于 Artificial Intelligence
需要 2 分钟阅读时间

AI Compiler

百度

秋招面试时遇到高铁柱前辈。问了相关的问题（对AI专业的人可能是基础知识）

nvcc编译器不好用吗？为什么要开发tvm之类的编译器？
答：首先，nvcc是类似与gcc, msvc(Microsoft Visual C++) 之类的传统的编译器，支持的是CUDA C/C++ 代码。
但是tvm编译器是张量编译器，支持的是python之类的代码，将其中的网络设计，编译拆解成各种算子，然后使用cudnn或者特定硬件的高效机器码来执行。

蔚来

数字信号处理器 (Digital signal processor)

HLO 简单理解为编译器 IR。

TVM介绍

https://tvm.apache.org

TVM解决的问题：
2017年，deploy Deep learning(TF,Pytorch) everywhere(hardware).
Before TVM,
1. 手动调优：loop tiling for locality.
2. operator fusion 算子融合。虽然性能高，但是部署不高效
编译优化思路引入深度学习
定义了算子描述到部署空间的映射。核心是感知调度空间，并且实现compute/schedule 分离
TVM当前的发展
上层计算图表示：NNVM Relay Relax
底层优化方式：manual -> AutoTVM(schedule最优参数的搜索，基于AI的cost model) -> Ansor(也不再需要手动写AutoTVM模版，使用模版规则生成代码)
TVM的额外工作
HeteroCL: TVM + FPGA