Python爬取中文网站时，经常会遇到爬下来的中文时乱码，今天研究了一下午终于给解决了，特此记录一下。
首先，上一段爬取代码：
import requests
r = requests.get('http://lib.tjufe.edu.cn/')
print(r.text[:200])
image.png
可以发现，中文变成了乱码。
研究了一下去，大致总结了下出现乱码的原因就是编码不一致，由于py文件是utf-8，爬取的网站很多不是utf-8，所以需要转换一下编码才能正确输出。以下代码就可以解决乱码问题，在解析网页之前加上这段代码即可。
if r.status_code == 200:
#解决中文乱码问题
if r.encoding == 'ISO-8859-1':
if requests.utils.get_encodings_from_content(r.text) == []:
encoding = r.apparent_encoding
else:
encoding = requests.utils.get_encodings_from_content(r.text)[0]
if re.match('^utf-8',encoding.lower()):
content = r.text.encode('ISO-8859-1').decode('utf-8','ignore')
elif re.match('^utf-16',encoding.lower()):
content = r.text.encode('ISO-8859-1').decode('utf-16','ignore')
elif encoding.lower() == 'gb2312':
content = r.text.encode('ISO-8859-1').decode('gb2312','ignore')
elif encoding.lower() == 'gbk':
content = r.text.encode('ISO-8859-1').decode('gbk','ignore')
else:
pass
完整的代码如下：
import requests,re
r = requests.get('http://lib.tjufe.edu.cn/')
#print(r.headers['content-type'])
#print(r.encoding)
#print(r.apparent_encoding)
#print(requests.utils.get_encodings_from_content(r.text))
if r.encoding == 'ISO-8859-1':
if requests.utils.get_encodings_from_content(r.text) == []:
encoding = r.apparent_encoding
else:
encoding = requests.utils.get_encodings_from_content(r.text)[0]
if re.match('^utf-8',encoding.lower()):
content = r.text.encode('ISO-8859-1').decode('utf-8','ignore')
elif re.match('^utf-16',encoding.lower()):
content = r.text.encode('ISO-8859-1').decode('utf-16','ignore')
elif encoding.lower() == 'gb2312':
content = r.text.encode('ISO-8859-1').decode('gb2312','ignore')
elif encoding.lower() == 'gbk':
content = r.text.encode('ISO-8859-1').decode('gbk','ignore')#以上基本涵盖了所有中文编码，如果还有乱码，则用上面的函数打印出乱码的编码，再添加解码即可。
else:
pass
else:
content = r.text
print(content[:200])
image.png
可以看见已经显示为中文了。
