MacOs环境下用urllib 爬取网页时,经常会显示URLError。
但是网址可以正常打开,查了其他人的解决办法https://blog.csdn.net/ywk_hax/article/details/82556111。可以通过取消证书验证的方法来处理。
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
设置完之后便可以正常爬取网页
或者添加局部证书验证的取消
import ssl
context = ssl._create_unverified_context()
这时候需要在urlopen中加入参数context=context。
环境(Macbook,python3.7)