记一次爬取使用aliplayer-min.js的视频

aliplayer-min.js是阿里的web播放器SDK,封装了很多稀奇古怪的东西。

经过了浏览源码、精简源码、修改源码的过程,建议把aliplayer-min.js当作黑盒使用,略微修改其中的代码把想要的结果输出即可。

大致步骤

spider_ali.png

其他细节

1.寻找使用aliplayer-min.js的蛛丝马迹

通过阅读阿里web播放器SDK的文档,发现如果要使用该SDK,有一个固定的语法”var player = new Aliplayer({“,所以,燥起来,去找含有这个语法的js代码吧。如果没找到,说明藏得比较深,再找一次。

2.构建本地模拟页面

话不多说,直接上代码:

<!DOCTYPE html>
<html>
    <head>
     <meta charset="UTF-8">
     <meta name="viewport" content="width=device-width, height=device-height, initial-scale=1, maximum-scale=1, minimum-scale=1, user-scalable=no"/>
     <title>AliPlayer Tester</title>
     <link rel="stylesheet" href="https://g.alicdn.com/de/prismplayer/2.8.2/skins/default/aliplayer-min.css" />
     <script charset="utf-8" type="text/javascript" src="./aliplayer-min-ly.js"></script>
    </head>
    <body>
        <div class="prism-player" id="J_prismPlayer"></div>
        <div id="get-video"></div>
        <script>
           var player = new Aliplayer({
           id: "J_prismPlayer",
           width: "100%",
           height: "100%",
           autoplay: true,
           vid: "fc-videoid",
           playauth: "fc-playauth",
           cover: "fc-cover",
           qualitySort: "desc",
           region:'cn-shanghai',
           });
        </script>
    </body>
</html>

注意:aliplayer-min-ly.js是我修改后的版本,目的是把对应接口URL暴露出来。具体修改部分如下:

var r = u.makeUTF8sort(i, "=", "&") + "&Signature=" + u.AliyunEncodeURI(u.makeChangeSiga(i, e.accessSecret)),
    n = "https://vod." + e.domainRegion + ".aliyuncs.com/?" + r;
    console.log("88:" + n);  // 修改部分,增加console打印
    document.getElementById("get-video").innerHTML=n; // 修改部分,结果体现到页面,方面后面抓取
// l.get(n, function (e) {
//         if (e) {
//             var t = JSON.parse(e),
// ... 省略

3.Python + Selenium + PhantomJS请求接口

不断替换构建的本地页面中的参数,用Selenium + PhantomJS调用修改的aliplayer-min-ly.js获取想要的接口URL,通过该接口URL最终获得视频的地址。

相关代码如下:

# 模拟构建请求页面
with open("/Users/song/Desktop/aliplayer-fc.html", "r") as f:
    fc_page = f.read()
with open("/Users/song/Desktop/aliplayer-fc-fc.html", "w") as f:
    f.write(fc_page.replace("fc-videoid", courseModuleRecordVideoId).replace("fc-playauth", play_playAuth).replace("fc-cover", play_cover))
browser.get('file:///Users/song/Desktop/aliplayer-fc-fc.html')
get_video_url = browser.find_element_by_id("get-video").text
video_info_response = opener.open(get_video_url)
video_info_json = json.loads(video_info_response.read(), encoding="UTF-8")
mp4_video_url = video_info_json['PlayInfoList']['PlayInfo'][1]['PlayURL']
mp4_video_duration = video_info_json['PlayInfoList']['PlayInfo'][1]['Duration']
os.makedirs(base_name + "/" + courseModuleRecordName, exist_ok=True)
full_video_name = base_name + "/" + courseModuleRecordName + "/" + courseModuleRecordDetailName
print(full_video_name, mp4_video_url, mp4_video_duration)
video_downloader(mp4_video_url, full_video_name)

下载视频方法:

# 下载视频函数
def video_downloader(video_url, video_name):
    print("开始下载【" + video_name + "】,URL:" + video_url)
    video_streams = requests.get(video_url, stream=True)
    video_format = re.sub("\?.*", "", re.sub(".*\.", "", video_url))
    v_name = video_name + "." + video_format
    with open(v_name, "wb") as video:
        for chunk in video_streams.iter_content(chunk_size=1024*1024):
            if chunk:
                video.write(chunk)
    print("FINISHED!")
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,463评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,868评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,213评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,666评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,759评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,725评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,716评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,484评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,928评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,233评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,393评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,073评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,718评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,308评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,538评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,338评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,260评论 2 352

推荐阅读更多精彩内容