沉淀、分享、成长，让自己和他人都能有所收获！😄

📢 本篇将给大家介绍嵌入式AI模型的部署。

一、嵌入式AI模型的部署

---

模型的部署，是指将训练好的模型放到运行环境中进行推理的过程。

一般需要经过以下操作：

• 将训练模型转换推理模型->需要转换框架的转换器/转换工具，转换为符合硬件要求的数据结构，模型的预处理等
• 部署阶段的一些性能优化->如算子融合、算子替换、自定义算子、模型的预编译（加快加载模型的时间）等
• 模型压缩->量化，以减少模型精度，剪枝神经网络的稀疏，知识蒸馏等
• 安全保护->模型的加密
• 模型推理->涉及前处理、执行推理、后处理

瑞芯微对应的工具：