NVIDIA TensorRT是一种高性能神经网络推理引擎,主要是用来在部署神经网络到Inference端之前,对神经网络进行优化加速,来提高程序的吞吐量以及降低延迟。TensorRT包含一个为优化生产环境中部署的深度学习模型而创建的库,支持目前大部分主流的深度学习框架,可获取经过训练的神经网络,并针对降低精度的INT8运算来优化这些网络。TensorRT适用于CUDA GPU的优化神经网络编译器,可以确定每个目标GPU的最佳策略,优化神经网络模型的数值精度、网络层及对相同的的张量计算进行融合,并且可以对GPU的内核以及内存管理等方面进行优化。通过TensorRT的大幅度加速,服务提供商能够以经济实惠的成本部署这些计算密集型人工智能工作负载。目前TensorRT主要应用有图像分类、图像分割和目标检测等。

1月18日晚8点,超级公开课NVIDIA专场第19讲将开讲,由NVIDIA深度学习解决方案架构师孟宾宾主讲,主题为《使用TensorRT实现目标检测模型的推理加速》。

本次讲解中,孟宾宾老师将从常用的目标检测算法、目标检测模型进行推理预测的关键、以及如何使用TensorRT为目标检测模型推理进行加速等方面进行系统讲解。