使用grep正则匹配提取.m3u8视频并下载

最近某教育app上看到了一些很不错的视频,可惜这些活动期的视频有期限限制,于是打算把他们都下载下来

首先使用抓包工具Charles抓取视频的请求数据,API是https的,需要安装安全证书,具体步骤略过。

之后我拿到了包含该系列课程视频url集合的response数据,json格式,视频基于.m3u8,接下来要做的就是把这些.m3u8提取出来,在百度上找了一些grep的正则提取url方法,都不太好用,最后Google出一片境外的文章,方法如下:

grep -io 'http://[-A-Za-z0-9+&@#/%?=~_|!:,.;]*[-A-Za-z0-9+&@#/%=~_|]*[.jpe?g]'  url.txt

稍加改动,我们要的是.m3u8的视频地址,所以改为:

grep -io 'http://[-A-Za-z0-9+&@#/%?=~_|!:,.;]*[-A-Za-z0-9+&@#/%=~_|]*[.m3u8]'  url.txt

url.txt为我们的json数据,这样就可以顺利的拿到所有的视频链接了。

接下来,我发现所有按行排列的.m3u8地址包含了多种清晰度,有pc_low.m3u8,pc_mid.m3u8,pc_high.m3u8结尾的,很明显,需要从其中提取一种,很简单,只要在上面的grep语句中把[.m3u8]改为[pc_low.m3u8]就可以了。

下载资源的问题解决了,那么下载输出呢?我们需要给每个下载好的MP4文件命名,并放到我们指定的目录下,简单起见,就按照顺序命名为1.mp4; 2.mp4; 3.mp4....

在url.txt相同的目录下新建一个linePut.sh,把我们上面的命令写成脚本,vim linePut.sh:

n=1

grep -io 'http://[-A-Za-z0-9+&@#/%?=~_|!:,.;]*[-A-Za-z0-9+&@#/%=~_|]*[.m3u8]'  url.txt | grep".pc_mid.m3u8$" | while read line

do

{

    {

        echo"ffmpeg -i $line /Users/mz/subDesktop/wanmenVideo/$n.mp4"

    } &

    let n=$n+1

}

done

wait

########--------

/Users/mz/subDesktop/wanmenVideo是我自定义存放MP4的路径

执行这个脚本之后会输出每一个视频的下载命令,把这些输出结果写入另一个result.sh, 然后终端输入:

sh linePut.sh > result.sh ; sh result.sh


然后我们就能在/Users/mz/subDesktop/wanmenVideo看到下载的视频了


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,884评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,755评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,369评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,799评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,910评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,096评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,159评论 3 411
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,917评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,360评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,673评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,814评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,509评论 4 334
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,156评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,882评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,123评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,641评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,728评论 2 351

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,638评论 18 139
  • 项目上线之后,或者在测试环境,经常会有bug让我们去排查和修改,这个时候,我们需要在linux系统中使用一些命令帮...
    时之令阅读 2,824评论 0 2
  • 1,正则表达式的作用:匹配一个字符串中的一些内容 2,声明和使用: 1)构造函数 var reg=new RegE...
    WDL_1a39阅读 729评论 0 1
  • Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。grep全...
    宝贝小魔阅读 394评论 0 1
  • 我们都喜欢发泄自己的坏情绪, 我们都喜欢因为自己迁怒别人, 我们都因为自己的不足而怪罪别人, 我们甚至的亲朋好友甚...
    小虫子Badi阅读 872评论 0 1