使用Scrapy自动预约51Talk外教老师

Spider

简述

以前购买了51Talk的课程,上了一段时间没有再上了,现在课程剩两个月了,还有150节课,为了能够不浪费,自己只能含泪每天上两节课来弥补以前懒惰造成的后果,结果发现课程太难约了,尤其是好的老师还有指定的时间的课程,自己想找收藏1000+以上的老师,还要一页一页的翻,可是结果也只能是事倍功半,1000+的老师太难找了,并且我自己的预约时间更是没有课,太惨了,最近刚学了Python,想着能不能通过爬虫来预约课程,于是就有了这个脚本51TalkBookLesson来预约收藏1000+老师的课。

功能

  • 只预约菲律宾老师的课,不会预约到欧美外教4次次卡的课
  • 自动预约指定时间,指定收藏数的老师的课
  • 当所有的课程预约完成后,程序就会自动退出
Scrapy

Scrapy

为什么使用Scrapy

Scrapy中的CrawlSpider能够通过Rule规则提取对应的链接并进跟进请求,非常的方便,不需要我们自己一步一步的去请求每一个URL,这非常适合51Talk中老师比较多,页面比较多的情况。

51Talk

登录

由于51Talk预约课程是需要登录的,所以我使用Cookie来进行账号的识别,我们需要为每一个请求的header添加一个Cookie

都有什么请求

1、搜索菲律宾老师的请求

def get_request_url(self):
    urls = []
    for lesson in self.need_book_lessons:
        for i in range(1,self.allowed_page + 1):
            url = u'http://www.51talk.com/reserve/index?type=ph&Date={0}&selectTime={1}&course=fiveone&pageID={2}&useSearch=y'.format(lesson.split('_')[0],lesson.split('_')[1],i)
            print url
            # yield url
            urls.append(url)
    return urls

2、老师的信息课程列表的详情

 rules = (
        Rule(LinkExtractor(allow=('http://www.51talk.com/teacher/info/t\d{7,10}')),process_request='request_teacher',callback='parse_teacher_lesson',follow=False,),
    )

follow=False是因为,老师详情页面会有一些推荐老师,这些老师可能是欧美外教,是需要使用4次次卡的,我们禁止跟进这些意外情况。

推荐老师

3、预约课程

r = session.post("http://www.51talk.com/reserve/doReserve", data=payload)

这些请求我们都需要添加Cookie,请求1是需要放在start_urls里面的,请求2的链接是通过Rule规则提取出来的,预约课程请求我则使用python的requests模块,之所以不使用scrapy的FormRequest,是因为FormRequest会被放在已经添加在Scrapy队列里的页面spider请求后面,当前面这些Spider请求完成之后,才能执行我们的预约课程,可是到那时候课程估计已经都没有了,我们需要的是当找到课程之后能够马上请求

Cookie的获取

1、在根目录下创建一个名字为cookie的文件
2、我们需要先登录51Talk网站,在开发模式下的控制台输入 document.cookie按回车,将cookie输出并粘贴到cookie文件,不需要双引号

Python中reques模块中的请求,Cookie的格式是字符串类型的,可以直接使用,而scrapy.http中的Request的Cookie格式是字典格式的,那么我们就需要将cookie文件中字符串类型cookie转换成字典,下面是转换方法:

 def get_cookies(self,cookie):
        cookie_list = cookie.split(';')
        cookie_dic = {}
        for cookie_key_value in cookie_list:
            a_cookie = cookie_key_value.split('=')
            cookie_dic[a_cookie[0]] = a_cookie[1]
        return cookie_dic

Cookie的添加

搜索菲律宾老师的链接是需要放在start_urls中的,所以这些请求是start_requests(self):方法来生成请求的,那么就需要通过重写该方法并为该请求加上Cookie

 def start_requests(self):
        cookie_text = self.get_cookies(self.cookie)
        # urls = self.get_request_url();
        for url in self.get_request_url():
            yield Request(url,cookies=cookie_text)

老师的信息课程列表的详情的链接是Rule规则提取的,那就需要在Rule中的process_request参数中的方法来进行处理,我写的Rule中的process_request的值是request_teacher,那就需要定义这样的一个方法来处理Cookie:

 def request_teacher(self, request):
        cookie_text = self.get_cookies(self.cookie)
        tagged = request.replace(cookies=cookie_text)
        return tagged

预约课程的链接是需要进post的请求的,我们使用下面的方法:

session = requests.session()
session.headers.update({"Cookie": self.cookie})
r = session.post("http://www.51talk.com/reserve/doReserve", data=payload)

使用

配置
  • 1、如果你想预约1000+收藏的老师课,以及指定时间段的课,这些都可以设置,在TeacherSpider.py文件配置你需要的设置和预约的课程,具体配置如下:
allowed_page = 10   #允许每个上课时间所爬取得最大页数
min_faver_count = 1000 #外教老师最少的收藏数
need_book_lessons = ['20170524_44','20170524_45']

你可以修改以上参数来预约相应的的老师及课程,其中need_book_lessons中的参数20170524_44代表2017年5月24日的21:30的课程,_前面的代表日期,后面的代表第几节课,时间从6点开始,数字从13开始,每半个小时数字加16:30则为147:0015,依次类推,将你需要预约课程的时间添加到need_book_lessons

  • 2、当cookie和指定时间段课程都已经配置好时我们就可以来进行爬虫的执行了,在终端中cd到工程根目录,然后执行scrapy crawl TeacherSpider -a cookie=cookie就可以可以愉快地约课了。

提示

  • 如果你在一个指定的日期取消了20次课程,就再也取消不了,找客服也没用,请看这里
  • 其实51Talk真正的好老师有时候根本就没有一个课可以约,如果你真想约那就自己找到老师的QQ号(找不到可以问客服要的哟),联系老师本人约课。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,817评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,329评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,354评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,498评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,600评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,829评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,979评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,722评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,189评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,519评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,654评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,329评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,940评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,762评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,993评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,382评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,543评论 2 349

推荐阅读更多精彩内容

  • scrapy学习笔记(有示例版) 我的博客 scrapy学习笔记1.使用scrapy1.1创建工程1.2创建爬虫模...
    陈思煜阅读 12,670评论 4 46
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,633评论 18 139
  • scrapy是python最有名的爬虫框架之一,可以很方便的进行web抓取,并且提供了很强的定制型,这里记录简单学...
    bomo阅读 2,098评论 1 11
  • 序言第1章 Scrapy介绍第2章 理解HTML和XPath第3章 爬虫基础 第4章 从Scrapy到移动应用第5...
    SeanCheney阅读 4,283评论 5 9
  • 当我知道初恋要结婚了,不知道感觉还会难受。 我在想,为什么会结婚? 只是前阵子听说你爱他,虽然我也还爱你。 明知...
    萧言心阅读 224评论 0 1