训练框架(编译器)和推理框架的一些区别
和前辈聊天的时候,他随口说的几句话,就包含了一些非常重要的信息,值得记录一下
-
CUDA编程、TensorRT都要去学
-
推理框架 vs 编译器
推理框架相当于编译器后端的一部分,专注于执行Pass,算子融合,计算等过程;
编译器往往需要生成多平台的代码,但是推理框架在实现的时候,往往已经确定了会部署在哪个平台上,因此考虑得要少一些。
和前辈聊天的时候,他随口说的几句话,就包含了一些非常重要的信息,值得记录一下
CUDA编程、TensorRT都要去学
推理框架 vs 编译器
推理框架相当于编译器后端的一部分,专注于执行Pass,算子融合,计算等过程;
编译器往往需要生成多平台的代码,但是推理框架在实现的时候,往往已经确定了会部署在哪个平台上,因此考虑得要少一些。
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/890531.html
如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!