目前主流的推理框架有:阿里的mnn,腾讯的ncnn,NVIDIA的TensorRT,Intel的OpenVINO
深度学习推理框架
如何选择深度学习推理框架?
如何评价阿里开源的移动端深度学习推理框架mnn
MNN 深度神经网络推理引擎
MNN专栏--MirrorYuChen
- MNN框架学习(一):编译及使用
- MNN框架学习(二):使用MNN部署模型
MNN · 语雀 MNN帮助文档
FP16与INT8_Jaaaaayu的博客
那些年,AI芯片里的浮点(FloatPoint)格式 - 知乎
CNN加速器中的NC4HW4内存排布格式_FPGA硅农的博客
4.3 C4排布加速卷积实现 - 知乎
__attribute__ 机制使用_天涯路linux的博客
__attribute__ 用法_wiggens的博客
使用 Clang 优化Flag进行编译_Incredibuild的博客
OpenCL简介_叶~子的博客
OpenCL 是什么|极客笔记
OpenCL学习入门_奔跑的小蘑菇的博客
(三)MNN与Opencl联合编译_li三河的博客
linux opencl编译
LearnOpenGL CN
OpenGL ES glad 下载和使用_猿说编程的博客
GLFW的使用说明_自己の圣诞的博客
OpenGL ES 名词解释(一)-猿说编程
OpenglEs之EGL环境搭建-pudn.com
Documentation | GLFW
EGL 的作用是不是类似于 GLFW? - 知乎
Metal入门经验与思考 - 知乎
Apple Developer Documentation
GitHub - loyinglin/LearnMetal: Metal 入门教程
推理框架iOS编译 · 语雀
Vulkan_百度百科
什么是 Vulkan|极客教程
LunarXchange 官网