Linux python默认使用conda

介绍

本篇介绍如何让linux在不激活任何环境时,调用python命令直接使用到conda的某个子环境。

首先说明本篇文章的工作原由,以及踩过的坑。
在之前的工作中,一般进行python开发都会使用conda进行包管理,以达到隔离多个环境的目的。例如:

  1. 同时创建python2和python3环境(一些旧代码和旧工具会使用python2开发,而新的代码一般采用python3)
  2. 同时创建python3.6和python3.7环境(TensorFlow的低版本支持python3.5或3.6,而其他工具可以支持python3.7)
  3. 同时创建numpy1.14和numpy1.16环境(某些更高级的库只支持低版本的工具,另一些支持高的)
    在这些环境隔离的任务中,conda完成的很好。唯一麻烦的地方在于每次都需要使用命令conda activate {env_name}来激活不同的环境。

问题来了,在一些场景中,外部程序需要调用服务器上的api,又无法做出conda activate的命令,命令是直接使用python xxx.py,这时候只能使用linux自带的python命令,或者conda的base环境的python命令。所以需要将环境搭建在linux的python或者conda的base。搭建过程中,遇到的问题来自两个方面:

  1. linux自带的python在搭建深度学习环境(tf-gpu、opencv、scikit、scipy等)时,tf-gpu装成功了,但是在实际调用的时候,无法成功调到gpu,程序还是使用cpu在跑,同时报了找不到共享库(libxxx.so.10.0之类)的错误(或者warning,因为没有停止运行)。而在用conda的时候,安装tf-gpu是可以正常跑通的,所以可以基本确认,NVIDIA、cuda、cudnn安装应该没有问题。(这里有可能是cuda版本和原生pip不匹配的问题,cuda用的是10.1,而非10.0,这里没有用10.0试,所以不知道更换到10.0会不会解决这个问题。但是conda的tf-gpu是可以用cuda 10.1跑的)
  2. 将tf直接安装到conda的base环境中时,首先会将一些旧包升级(例如numpy,例如certificate证书),而这个升级的过程是先删除旧的,再装新的。删除的这一步时,conda会将它本身一些底层依赖也删掉,最终结果就是conda崩了,报错为No module named 'conda,这时候先把旧的anaconda删了,然后重新安装Anaconda即可解决,之前旧的库就都没了。
    所以以上两个思路:将环境搭建在linux默认的python或者conda的base 是不行的。

解决方法

解决方法:将linux默认的python做软链接,链接到conda的子环境。

conda创建子环境

创建环境:conda create -n child_env python=3.6
切换环境:conda activate child_env
安装pytorch:conda install pytorch torchvision cudatoolkit=10.0
安装tensorflow:conda install tensorflow-gpu
安装其他包:conda install xxx,xxx,...

制作软链接

先将老的链接备份:mv /usr/bin/python /usr/bin/python22
再做链接:ln -s /root/anaconda3/envs/child_env/bin/python3 /usr/bin/python
第一个路径需要改成自己的anaconda路径,child_env改成自己的环境名,第二个路径不用改。

测试

先关掉conda环境:conda deactivate
再运行:python xxx.py

缺陷

用这个方法,虽然解决了直接调用python命令的问题。但是引入了新的问题。

  1. 首先要在.bashrc里去掉anaconda的默认激活,否则python调的是conda的base,而不是child_env
  2. python可以软链接,但是我做pip软链接时ln -s /root/anaconda3/envs/child_env/bin/pip /usr/bin/pip,pip list无法直接显示child_env的环境,判定是失败了。
  3. 所以如果需要装包的时候,要把.bashrc的conda先激活:取消export的注释,source .bashrc,conda activate child_env,conda install。然后再注释.bashrc的anaconda,source .bashrc。

参考

更换默认python版本

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,376评论 6 491
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,126评论 2 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,966评论 0 347
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,432评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,519评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,792评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,933评论 3 406
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,701评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,143评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,488评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,626评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,292评论 4 329
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,896评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,742评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,977评论 1 265
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,324评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,494评论 2 348