前前言
喜马拉雅已经更换标签，我重新更新了下代码，思路还是如此，需要的可以扫一下文末公众号二维码（本人会在上面发表爬虫以及java的文章还有送书等资源福利哦），也可以直接搜索公众号“ 猿狮的单身日常”，好了广告结束...
前言
之前写过爬取图片的一篇文章，这回来看看如何爬取音频。图片，音频，视频这类都可以通过二进制方式保存到本地下载下来。
爬取图片文章的链接：
python爬取图片并以二进制方式保存到本地
目标
本次我们爬取的目标是--喜马拉雅FM
喜马拉雅FM有数不计的音频，这些音频都有自己的分类，所以进一步给自己抛出一个需求，爬取喜马拉雅所有分类的音频
接下来我们来分析这些分类，找到所有分类 https://www.ximalaya.com/category/
我们可以看到这里包括了大量的分类，那么我们找一个分类来看看其内部是怎样的
这里我们可以看到文学类下面的诸多FM节目，那么点开节目，有的需要充值，有的免费，还有很多页这样的节目
继续跟进，可以看到，我们需要爬取的音频列表了！
好了，所以现在目标已经清晰起来了：找到所有分类 -> 对每一个分类，获取其中所有页的FM节目->对每一个FM节目，爬取其下列表里的所有免费的音频
开始动刀
第一步
代码如下：
category_Url = 'https://www.ximalaya.com/category/'
base_url = 'https://www.ximalaya.com'
base_api = 'https://www.ximalaya.com/revision/play/tracks?trackIds='
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'
}
client = pymongo.MongoClient(host='localhost', port=27017)
db = client['ximalaya']
def getUrl():
r = requests.get(category_Url, headers=header)
html = r.text
result = re.findall(r'<a class="e-2880429693 item separator".*?href="(.*?)">(.*?)</a>', html, re.S)
url_list = []
for i in result:
# 以一个分类为例 - - 有声书中的文学类，若没有break 则可获取全部分类
second_url = base_url + i[0]
url_list.append(second_url)
# 获取该分类中全部的页数
getMorePage(second_url)
print second_url
break
分析每个分类的标签，获取网页源码中的所有分类，这里的category_Url是上面提到的所有分类得界面的URL
还定义一些要用到的基本的，比如请求头、连接MongoDB等，在这里添加了break，是因为音频数过多，所以以有声书为例
第二步
def getMorePage(url):
r = requests.get(url, headers=header)
m_list_html = r.text
pageNum = re.findall(r'(\d+)</span></a></li><li class="e-3793817119 page-next page-item">', m_list_html,re.S)
pageNum = int(pageNum[0])
# 循环获取每一页，这里暂时获取第一页
for i in range(1, pageNum + 1):
if i == 1:
page_url = url
# 获取页中的30个FM
getMusicList(page_url, i)
else:
page_url = url + 'p{}/'.format(i)
getMusicList(page_url, i)
#爬取一页
break
进入一个分类后，可以看到很多页的FM节目，所以应该想办法循环获取页面的内容，这里我们发现页面数在网页源码中存在，通过正则我们将其取出，然后循环
这里我们注意一下其页面的url ：
https://www.ximalaya.com/youshengshu/wenxue/p2/
后面的p2对应页数，而第一页没有p，所以需要判断，这里也同样以第一页为例
第三步
def getMusicList(url, page):
r = requests.get(url, headers=header)
m_list_html = r.text
result = re.findall(
r'<a class="e-1889510108.*?href="(.*?)"><img.*?src="(.*?)".*?alt="(.*?)".*?/>.*?"e-1889510108 icon-earphone xuicon xuicon-erji"></i>(.*?)</span>.*?"e-2896848410 album-author".*?title="(.*?)">',
m_list_html, re.S)
info = []
# 获取该page中每一个FM的数据信息，可以存入MongoDB
for i in result:
FM_info = {}
#每个节目的url
FM_url = base_url + i[0]
FM_info['url'] = FM_url
FM_info['picture'] = i[1]
FM_info['name'] = i[2]
FM_info['playback'] = i[3]
FM_info['author'] = i[4]
info.append(FM_info)
# 获取该FM中的音频信息
# os.mkdir('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}'.format(FM_info['name']))
get_FM_music(FM_url)
# 先获取一个FM
# for j in info:
# print j
test = db['page' + str(page)]
test.insert(info)
以每页的url为参数传入getMusicList()获取每一页中的30个FM节目信息，可以将每个节目的信息存入到MongoDB中；然后是获取每个节目中的音频
第四步
def get_FM_music(fm_url):
print fm_url
r = requests.get(fm_url, headers=header)
FM_music_html = r.text
track_list = re.findall(r'<div class="e-2304105070 text"><a.*?title="(.*?)".*?href="(.*?)">.*?</a>', FM_music_html,re.S)
detail_info = []
# 爬取一个FM下的每个音频
j = 1
for i in track_list:
detail = {}
# 获取爬取音频所需的trackIds
id = str(i[1]).split('/')[3]
detail['title'] = i[0]
detail['detail_url'] = base_url + i[1]
detail_info.append(detail)
# api中的数据信息
get_detailFM_api(id)
print u'已获取第' + str(j) + u'个音频'
j += 1
print detail['title']+u',该音频爬取完毕'
time.sleep(2+random.randint(1,10))
获取每个音频对应的url，这里需要注意，自我们点击一个音频的时候
进入到以下界面
我们既然要获取音频，那么不妨打开开发者工具，再点击播放音频试试
结果我们发现，点击播放按钮，发送了一个请求：
https://www.ximalaya.com/revision/play/tracks?trackIds=93433726
注意trackIds就是当前音频url的最后一部分：
https://www.ximalaya.com/youshengshu/11377428/93433726
同时我们可以看到我们所需的音频源就在这里：
所以我们可以通过获取页面url的最后一部分，构建一个请求，发送后就可以获取json数据，从而获得音频源的url
第五步
def get_detailFM_api(id):
api = base_api + id
print api
r = requests.get(api, headers=header)
result = r.json()
src = result['data']['tracksForAudioPlay'][0]
if src['src']:
print u'试听'
r = requests.get(src['src'], headers=header)
try:
f = open('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}.m4a'.format(src['trackName']),'wb')
except:
print u'已存在'
pass
f.write(r.content)
f.close
print u'保存完毕...'
else:
print u'需要收费'
pass
通过访问音频源，以r.content将音频保存到本地
这里保存的时候还需改进，希望做到对每个节目新建一个文件夹，将该节目的音频存入对应的文件夹中
最后，程序从这里开始运行
if __name__ == '__main__':
getUrl()
有疑问或更好的方法的话，欢迎交流！
下一篇应该是爬取网易云的，或者是爬取视频；最近也是忙着期末的考试，我也算是碰见了最佩服的老师...（考试时看我们做的试卷，唉，急的直接说答案了！！...）
完整代码可以在我的GitHub上下载~
https://github.com/joelYing/XimalayaFM
print('微信公众号搜索 "猿狮的单身日常" ，Java技术升级、虫师修炼，我们 不见不散!')
print('也可以扫下方二维码哦~')
