tensorrt对cudnn有严格依赖关系,版本一定要完全契合。
我安装的版本:
tensorrt 8.2.1.8
CUDA 11.2.0
cuDNN 11.3
(下文的版本还没来得及改)
1. 配置CUDA
安装tensorrt前需要配置好CUDA,CUDAToolkit等,详见 PyTorch安装:从环境到安装全程(CUDA,cuDNN,PyTorch安装) - 简书
2. 安装tensortflow
3.安装tensorrt
官方安装说明 TensorRT Documentation
(1)安装PyCUDA
没有numpy库的话需要先下载, pip install numpy。
确保CUDA正常安装并且cuda的bin目录已经添加到PATH,下载对应版本的PyCUDA 下载网址:
跳转到下载位置,通过语句安装: pip install pycuda(+Tab)
(2)下载TensorRT
tensorrt包下载官网地址:NVIDIA Developer Program Membership Required | NVIDIA Dev
根据安装的CUDA的版本(在下载链接的题目中有标明),下载对应的tensorrt:
(3)解压安装包
解压tensorrt.tar,把 ‘D:\Program Files\TensorRT-7.2.3.4\lib’ (参考自己的具体存储位置)添加至环境变量。
(4)把..\lib文件夹下的DLL文件拷贝到cuda对应版本的安装目录下。
目录 D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\bin 【不是C盘的?】
另外,把tensorrt的bin lib include中的相应文件(dll-bin, lib-lib, include-include)粘贴进c:\..\cuda\v11.2的相应文件夹。
(5)安装uff和graphsurgeon
在 ...\Tensor...(输入前几个字母,按Tab,自动补充后面的部分)\中,分别跳转到 graphsurgeon ,uff文件,输入指令安装
复制lib文件夹的 .dll 格式文件到CUDA目录(例如:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\bin)。
4.把tensorrt\lib的路径添加至环境路径
5. 测试结果
VS2015的测试方法在很多博客里有详细过程,但是我的C盘实在不允许再下载一个新版本SDK了……
一个很直观的办法,在pycharm里看看,成功引入,没有报错(目前看来是没有问题的,后面跑码的时候看看输出的结果就能确定了,大概)。