tensorRT的介绍_大霞上仙

http://blog.sina.com.cn/u/6319164373

首页博文目录关于我

个人资料

微博

加好友发纸条

写留言加关注

博客等级：
博客积分：

博客访问：
关注人气：
获赠金笔：0支
赠出金笔：0支
荣誉徽章：

正文字体大小：大中小

tensorRT的介绍

(2018-04-12 16:28:02)

分类： python/深度学习

深度学习的发展带动了一批深度学习框架，caffe、tensorflow、pytorch等，对于计算量庞大的CNN，效率一直是大家所关注的，接触过深度网络压缩的同学应该知道网络压缩最关键的两个思路，剪枝和量化。TensorRT就是量化，将FP32位权值数据优化为 FP16 或者 INT8，而推理精度不发生明显的降低。

关于TensorRT首先要清楚以下几点：

1. TensorRT是NVIDIA开发的深度学习推理工具，只支持推理，不支持训练；目前TensorRT3已经支持Caffe、Caffe2、TensorFlow、MxNet、Pytorch等主流深度学习库；

2. TensorRT底层针对NVIDIA显卡做了多方面的优化，不仅仅是量化，可以和 CUDA CODEC SDK 结合使用，也就是另一个开发包DeepStream；

3. TensorRT独立于深度学习框架，通过解析框架文件来实现，不需要额外安装DL库；

在TensorRT3版本的TensorFlow的支持是通过UFF Converter和UFF Parser来实现的，也就是说通过将Frozen的TensorFlow模型转化成为UFF模型，之后通过UFF Parser将模型导入TensorRT，之后进行优化生成Plan流图，并最后部署该流图。

那么问题来了，是否有Tensorflow原生支持的TensorRT呢？现在很高兴的和大家分享——TensorRT已经集成进TensorFlow 1.7版本中，可以通过以下命令安装使用：

pip install tensorflow-gpu r1.7

在TensorFlow1.7正式发布前，可以通过以下链接安装使用TF-TRT：

https://github.com/tensorflow/tensorflow/tree/r1.7/tensorflow/contrib/tensorrt

http://s7/mw690/006TEzk1zy7jDpckoOGe6&690

阅读┊ 收藏 ┊ 喜欢 ▼ ┊打印┊举报/Report

前一篇：STL中vector用法

后一篇：STL之list用法

新浪BLOG意见反馈留言板　欢迎批评指正