Python爬虫实战笔记_3-3

find()函数的进阶用法
  • find 函数中各参数与SQL语法的对照:
    table.find( { 'key': value }, { column1: 1, column2: 1 } )
    用SQL写就是:
select column1, column2
from table
where key = value
源码
  • getdaterange() 接收入参分别为起,止日期,输出一个日期列表列出所有在给定起,止时间范围之间的日期,格式为‘2016-07-10’。
  • get_statistic_by_daterange() 接收data参数为从数据表查询某一类商品的结果,反回此类商品在给定日期范围内每天的发贴数量,以list格式返回。
def getdaterange(startfrom, enddate):
    #  input: ('2016-01-01', '2016-01-07')
    #  ouput: ['2016-01-01', '2016-01-02', '2016-01-03',  '2016-01-04', '2016-01-05', '2016-01-06', '2016-01-07']
    stastamp = time.mktime(time.strptime(startfrom,"%Y-%m-%d")) 
    endstamp = time.mktime(time.strptime(enddate,"%Y-%m-%d")) 
    datelist = []
    for i in range(int((endstamp - stastamp)/3600/24)):
        datelist.append(time.strftime("%Y-%m-%d", time.localtime(stastamp + i*3600*24)))
    return datelist
    
def get_statistic_by_daterange(data, daterange):
    #  input: data = {}, daterange = ['2016-07-02', '2016-07-03', '2016-07-04', '2016-07-05', '2016-07-06', '2016-07-07', '2016-07-08']
    #  ouput: {'2016-07-07': 15, '2016-07-04': 7, '2016-07-02': 35, '2016-07-08': 36, '2016-07-06': 13, '2016-07-05': 10, '2016-07-03': 9}
    statistic = {}
    for time in daterange:
        statistic[time] = 0
    for item in data:
        itdate = item['pubtime'][0]
        if itdate in daterange:
            statistic[itdate] += 1
    print(statistic)
    return [item[1] for item in sorted(statistic.items())]#.values()
  • 起始日期以当前日期为参考的7天前,
    终止日期为当前日期,
    分别获取指定的三种类别的所有贴子数据,用get_statistic_by_daterange()分别算出它们的最近7日的发贴量
stadate = time.strftime("%Y-%m-%d", time.localtime(time.time() - 7 * 3600 * 24 ))
enddate = time.strftime("%Y-%m-%d", time.localtime(time.time()))
datelist = getdaterange(stadate, enddate)
print(datelist )
for item in ['笔记本电脑', '手机', '台式电脑整机']:
    datalist.append(get_statistic_by_daterange(tinfo.find({'category': item}), datelist))
#print(data)
运行结果
  • 指定的三类商品最近7天的发贴量统计


    Screen Shot 2016-07-09 at 3.03.24 PM.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,723评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,003评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,512评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,825评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,874评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,841评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,812评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,582评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,033评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,309评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,450评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,158评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,789评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,409评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,609评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,440评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,357评论 2 352

推荐阅读更多精彩内容