昨日上线功能时,发现接口报错,报错来自
import urllib
urllib.parse.parse_qs(“”)
具体异常是:[AttributeError: 'module' object has no attribute 'parse']
非常诡异的事情,在测试环境是完全没问题的,无法复现,但在线上就报错了。
搜了下资料urllib.parse是python3的urllib才有的py,上述用法是python3的用法,而在python2是没有的。目前测试环境跟线上环境使用的都是python2。这就奇怪了,为什么测试环境可以,而线上环境却报错呢?
在python2正确用法应该是
from urlparse import parse_qs
parse_qs(“”)
在ide跳转了一下,发现urllib在python2是一个py文件,而在python3是一个目录。在urllib.py时没有parse方法,更没这个py文件了。urllib.parse.parse_qs(“”)看上去就是有一个parse.py文件。
追查测试环境到底是执行哪里的parse
接下来只能查看在测试环境中的执行路径跟代码了。
查看python模块路径方法
import a_module
print a_module.file
输出的是'path:/usr/lib/python2.7/urllib.pyc。这个看上去没问题啊,但是实际并不是执行这个py方法/
再看下urllib.parse.parse_qs执行的到底是哪里的代码
使用code属性查看codeobject信息
执行urllib.parse.parse_qs.code
得到输出信息:<code object parse_qs at 0x7f81721f60b0, file "/usr/local/lib/python2.7/dist-packages/future/backports/urllib/parse.py", line 540>
这些奇怪了,这是来自future的类,future是什么?
Python提供了future模块,把下一个新版本的特性导入到当前版本,于是我们就可以在当前版本中测试一些新版本的特性。
例如:在开头加上from future import print_function,在python2.7下使用print可以像python3.6那样加括号。
如果某个版本中出现了某个新的功能特性,而且这个特性和当前版本中使用的不兼容,也就是它在该版本中不是语言标准,那么我如果想要使用的话就需要从future模块导入。
这就奇怪了,全局搜索代码没有搜到哪里有显式引用future模块。
问题应该不简单,future应该不是显式引入,有可能是间接引入的,为了搞懂future怎么实现可以在python2使用python3里面的urllib.parse.parse_qs,需要先实践一下怎样才能在代码上实现。
尝试多次后,发现是需要一下用法才能实现:
from future import standard_library
from future.standard_library import install_aliases
install_aliases()
import urllib
name = "aaaa bbb ccc"
s = urllib.parse.quote_plus(name)
print(s)
关键字是standard_library install_aliases。
思路就来了,需查看哪个模块有引用到这些包
全局搜了下
Binary file /usr/local/lib/python2.7/dist-packages/opentracing_instrumentation/client_hooks/urllib2.pyc matches
/usr/local/lib/python2.7/dist-packages/opentracing_instrumentation/http_server.py:standard_library.install_aliases()
Binary file /usr/local/lib/python2.7/dist-packages/opentracing_instrumentation/http_server.pyc matches
发现关于opentracing_instrumentation里面的hook有相关使用。
为了确认是否opentracing_instrumentation引入的,在测试环境使用比较粗暴的方法,在/usr/local/lib/python2.7/dist-packages/future/backports/urllib/parse.py 文件中一开始就加上
import traceback
traceback.print_stack()
来查看这个文件是在哪里开始引入的。
python就是这么爽,直接改原始文件都可以,不需要编译
重启项目,发现真的是由于opentracing_instrumentation中使用了standard_library.install_aliases()导致引入了future的,所以测试环境写了python3的用法urllib.parse.parse_qs也没问题。
File "/usr/local/lib/python2.7/dist-packages/opentracing_instrumentation/client_hooks/init.py", line 119, in _load_symbol
module = importlib.import_module(module_name)
File "/usr/lib/python2.7/importlib/init.py", line 37, in import_module
import(name)
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(*args, *kwargs)
File "/usr/local/lib/python2.7/dist-packages/opentracing_instrumentation/client_hooks/tornado_http.py", line 24, in <module>
standard_library.install_aliases()
File "/usr/local/lib/python2.7/dist-packages/future/standard_library/init.py", line 467, in install_aliases
from future.backports.urllib import request
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(args, *kwargs)
File "/usr/local/lib/python2.7/dist-packages/future/backports/urllib/request.py", line 97, in <module>
from future.backports.http import client as http_client
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(args, *kwargs)
File "/usr/local/lib/python2.7/dist-packages/future/backports/http/client.py", line 76, in <module>
from future.backports.email import parser as email_parser
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(args, *kwargs)
File "/usr/local/lib/python2.7/dist-packages/future/backports/email/parser.py", line 15, in <module>
from future.backports.email.feedparser import FeedParser, BytesFeedParser
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(args, *kwargs)
File "/usr/local/lib/python2.7/dist-packages/future/backports/email/feedparser.py", line 32, in <module>
from future.backports.email import message
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(args, *kwargs)
File "/usr/local/lib/python2.7/dist-packages/future/backports/email/message.py", line 20, in <module>
from future.backports.email import utils
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(args, *kwargs)
File "/usr/local/lib/python2.7/dist-packages/future/backports/email/utils.py", line 40, in <module>
from future.backports.urllib.parse import quote as url_quote, unquote as url_unquote
File "/usr/local/lib/python2.7/dist-packages/gevent/builtins.py", line 96, in import
result = _import(args, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/future/backports/urllib/parse.py", line 46, in <module>
traceback.print_stack()
为什么线上环境不行呢?因为线上环境还没开启open_tracing,尴尬了
现在热衷追问题需要刨根问底,一定要发现问题的根源,不要让问题无疾而终,不能难追踪或问题不严重就丢不管,随时为以后埋下巨坑。目前所在公司项目组就是这样,坑巨多。不能被所在环境同化。每天提升知识做好准备逃离。