python future兼容包导致的误会

昨日上线功能时,发现接口报错,报错来自
import urllib
urllib.parse.parse_qs(“”)
具体异常是:[AttributeError: 'module' object has no attribute 'parse']
非常诡异的事情,在测试环境是完全没问题的,无法复现,但在线上就报错了。
搜了下资料urllib.parse是python3的urllib才有的py,上述用法是python3的用法,而在python2是没有的。目前测试环境跟线上环境使用的都是python2。这就奇怪了,为什么测试环境可以,而线上环境却报错呢?
在python2正确用法应该是
from urlparse import parse_qs
parse_qs(“”)

在ide跳转了一下,发现urllib在python2是一个py文件,而在python3是一个目录。在urllib.py时没有parse方法,更没这个py文件了。urllib.parse.parse_qs(“”)看上去就是有一个parse.py文件。

追查测试环境到底是执行哪里的parse
接下来只能查看在测试环境中的执行路径跟代码了。
查看python模块路径方法
import a_module
print a_module.file
输出的是'path:/usr/lib/python2.7/urllib.pyc。这个看上去没问题啊,但是实际并不是执行这个py方法/
再看下urllib.parse.parse_qs执行的到底是哪里的代码
使用code属性查看codeobject信息
执行urllib.parse.parse_qs.code
得到输出信息:<code object parse_qs at 0x7f81721f60b0, file "/usr/local/lib/python2.7/dist-packages/future/backports/urllib/parse.py", line 540>

这些奇怪了,这是来自future的类,future是什么?
Python提供了future模块,把下一个新版本的特性导入到当前版本,于是我们就可以在当前版本中测试一些新版本的特性。

例如:在开头加上from future import print_function,在python2.7下使用print可以像python3.6那样加括号。

如果某个版本中出现了某个新的功能特性,而且这个特性和当前版本中使用的不兼容,也就是它在该版本中不是语言标准,那么我如果想要使用的话就需要从future模块导入。

这就奇怪了,全局搜索代码没有搜到哪里有显式引用future模块。
问题应该不简单,future应该不是显式引入,有可能是间接引入的,为了搞懂future怎么实现可以在python2使用python3里面的urllib.parse.parse_qs,需要先实践一下怎样才能在代码上实现。
尝试多次后,发现是需要一下用法才能实现:
from future import standard_library
from future.standard_library import install_aliases
install_aliases()
import urllib
name = "aaaa bbb ccc"
s = urllib.parse.quote_plus(name)
print(s)

关键字是standard_library install_aliases。
思路就来了,需查看哪个模块有引用到这些包
全局搜了下
Binary file /usr/local/lib/python2.7/dist-packages/opentracing_instrumentation/client_hooks/urllib2.pyc matches
/usr/local/lib/python2.7/dist-packages/opentracing_instrumentation/http_server.py:standard_library.install_aliases()
Binary file /usr/local/lib/python2.7/dist-packages/opentracing_instrumentation/http_server.pyc matches
发现关于opentracing_instrumentation里面的hook有相关使用。
为了确认是否opentracing_instrumentation引入的,在测试环境使用比较粗暴的方法,在/usr/local/lib/python2.7/dist-packages/future/backports/urllib/parse.py 文件中一开始就加上
import traceback
traceback.print_stack()
来查看这个文件是在哪里开始引入的。
python就是这么爽,直接改原始文件都可以,不需要编译

重启项目,发现真的是由于opentracing_instrumentation中使用了standard_library.install_aliases()导致引入了future的,所以测试环境写了python3的用法urllib.parse.parse_qs也没问题。

File "/usr/local/lib/python2.7/dist-packages/opentracing_instrumentation/client_hooks/init.py", line 119, in _load_symbol
module = importlib.import_module(module_name)
File "/usr/lib/python2.7/importlib/init.py", line 37, in import_module
import(name)
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(*args, *kwargs)
File "/usr/local/lib/python2.7/dist-packages/opentracing_instrumentation/client_hooks/tornado_http.py", line 24, in <module>
standard_library.install_aliases()
File "/usr/local/lib/python2.7/dist-packages/future/standard_library/init.py", line 467, in install_aliases
from future.backports.urllib import request
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(
args, *kwargs)
File "/usr/local/lib/python2.7/dist-packages/future/backports/urllib/request.py", line 97, in <module>
from future.backports.http import client as http_client
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(
args, *kwargs)
File "/usr/local/lib/python2.7/dist-packages/future/backports/http/client.py", line 76, in <module>
from future.backports.email import parser as email_parser
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(
args, *kwargs)
File "/usr/local/lib/python2.7/dist-packages/future/backports/email/parser.py", line 15, in <module>
from future.backports.email.feedparser import FeedParser, BytesFeedParser
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(
args, *kwargs)
File "/usr/local/lib/python2.7/dist-packages/future/backports/email/feedparser.py", line 32, in <module>
from future.backports.email import message
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(
args, *kwargs)
File "/usr/local/lib/python2.7/dist-packages/future/backports/email/message.py", line 20, in <module>
from future.backports.email import utils
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(
args, *kwargs)
File "/usr/local/lib/python2.7/dist-packages/future/backports/email/utils.py", line 40, in <module>
from future.backports.urllib.parse import quote as url_quote, unquote as url_unquote
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(
args, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/future/backports/urllib/parse.py", line 46, in <module>
traceback.print_stack()

为什么线上环境不行呢?因为线上环境还没开启open_tracing,尴尬了

现在热衷追问题需要刨根问底,一定要发现问题的根源,不要让问题无疾而终,不能难追踪或问题不严重就丢不管,随时为以后埋下巨坑。目前所在公司项目组就是这样,坑巨多。不能被所在环境同化。每天提升知识做好准备逃离。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,311评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,339评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,671评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,252评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,253评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,031评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,340评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,973评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,466评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,937评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,039评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,701评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,254评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,259评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,485评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,497评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,786评论 2 345

推荐阅读更多精彩内容