实现CUDA多版本的共存和实时切换
网上https://developer.nvidia.com/cuda-toolkit-archive下载自己需要的cuda版本，然后对应版本cudnn下载，安装多个版本时，安装顺序没有要求。
下载完成以后，利用cd命令，进入到cuda_8.0.61_375.26_linux.run文件所在的目录中，然后运行下面的指令，进行安装（注意这个文件名，前面的cuda_8.0.61代表cuda的版本，后面的375.26代表的对应的NVIDIA驱动的版本，这里用cuda8.0的安装过程为例，9.0和9.1、9.2同理）
安装过程中在建立软链接时需要注意一下，如果是第一次安装cuda，那么毫无疑问输入y（yes），但是如果是安装额外版本的cuda，是否选择y（yes）就要看你的具体需求而定，简言之，就是如果你希望启用当前安装的cuda版本，就选y，如果你只是想安装这个版本，而暂时还不想启用该版本时，就选n。
#先执行下面的命令安装相关依赖，
#否则会出现`Missing recommended library`错误
sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev
sudo sh cuda_8.0.61_375.26_linux.run #开始安装
#..一堆协议说明...
#直接按q退出协议说明.
zerozone@zerozone: accept/decline/quit: accept #接受协议
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 375.26?
y)es/(n)o/(q)uit: n #是否显卡驱动包，由于已经安装显卡驱动，选择n
Install the CUDA 8.0 Toolkit?
(y)es/(n)o/(q)uit: y #是否安装工具包，选择y
Enter Toolkit Location
[ default is /usr/local/cuda-8.0 ]: #工具包安装地址，默认回车即可
Do you want to install a symbolic link at /usr/local/cuda?
(y)es/(n)o/(q)uit: y #添加链接**注意这个连接，如果你之前安装过另一个版本的cuda，除非你确定想要用这个新版本的cuda，否则这里就建议选no，因为指定该链接后会将cuda指向这个新的版本**
Install the CUDA 8.0 Samples?
(y)es/(n)o/(q)uit: y #安装样例
Enter CUDA Samples Location
[ default is /root ]: #样例安装地址默认即可
# ***安装信息***
Installing the CUDA Toolkit in /usr/local/cuda-8.0 ...
Missing recommended library: libXi.so
Missing recommended library: libXmu.so
#注意，在第一次安装时，如果没有添加最开始的那条安装相关依赖的指令，
#这里出现了Missing recommended library错误
Installing the CUDA Samples in /root ...
Copying samples to /root/NVIDIA_CUDA-8.0_Samples now...
Finished copying samples.
===========
= Summary =
===========
Driver: Not Selected
Toolkit: Installed in /usr/local/cuda-8.0
Samples: Installed in /root, but missing recommended libraries
Please make sure that
- PATH includes /usr/local/cuda-8.0/bin
- LD_LIBRARY_PATH includes /usr/local/cuda-8.0/lib64, or, add /usr/local/cuda-8.0/lib64 to /etc/ld.so.conf and run ldconfig as root
To uninstall the CUDA Toolkit, run the uninstall script in /usr/local/cuda-8.0/bin
Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-8.0/doc/pdf for detailed information on setting up CUDA.
***WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 361.00 is required for CUDA 8.0 functionality to work.
To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:
sudo <CudaInstaller>.run -silent -driver
Logfile is /tmp/cuda_install_6388.log
# ***安装完成***
配置环境变量
# vim ~/.bashrc
export PATH=/your_install_path/cuda-8.0/bin:$PATH
export LD_LIBRARY_PATH=/your_install_path/cuda-8.0/lib64:$LD_LIBRARY_PATH
#建立软连接cuda后用软连接路径
export PATH=/your_install_path/cuda/bin:$PATH
export LD_LIBRARY_PATH=/your_install_path/cuda/lib64:$LD_LIBRARY_PATH
cuda多个版本的切换
在安装了多个cuda版本后，可以在/usr/local/目录下查看自己安装的cuda版本,假设cuda是一个软链接，它指向我们指定的cuda版本（注意此时上面在设置环境变量时，可使用cuda，而不是cuda-9.0和cuda-9.1，这主要是为了方便我们切换cuda版本，可以让我们不用每次都去该环境变量的值）
#可以使用stat命令查看当前cuda软链接指向的哪个cuda版本
stat cuda
#cuda版本切换通过建立软链接实现，记得把配置环境设成cuda的目录
sudo rm -rf cuda
sudo ln -s /usr/local/cuda-9.1 /usr/local/cuda
#如果切换到/usr/local/目录下，则sudo ln -s cuda-9.1 cuda
参考
其他
cuda10安装
gpu显卡计算性能查看
Tesla K40m,pytorch1.2以上版本不支持
Google Colab 使用易错总结
