看了掷骰子的求的这篇文章//www.greatytc.com/p/5f5cfefd7f1d#觉得获益匪浅,正好在练习怎么把数据存入mongodb,就跟着博主选了赶集的租房信息作了数据源,选合租,个人(依然不会在ubuntu上打出顿号)后就是这个链接http://cd.ganji.com/fang3/a1o1。
分析页面特征并爬取每处房子的详情url
- 观察翻页时url的变动信息
- 页数与翻页
显而易见a1o1和a1o2的o几就是页数,赶集页面好像改版了,所以不能再像原博那样分析边界条件了,我直接改变url页数试出大概有63页(技术不够,体力来凑)。
count = 0
for i in range(1, page + 1):
url = 'http://cd.ganji.com/fang3/a1o%s/' % i
- 然后通过status_code对页面进行判断
if zf_data.status_code == 404:
pass
- 关于线程与进程只是以前看过几页书知道是怎么回事但没写过代码,代理池也并不会,慢点爬应该不会封我一个小IP吧,这次主要练习存储数据,所以就一切简单化
-
然后就遇到了一个巨大的坑,本来我是根据这个href提取url的
写了这样的代码
links = soup.select("class.f-list-item")
这个爬虫写完后以为不会再出bug,就run了起来然后起身去厕所,没想到回来它就停了。
在PyCharm上检查了一下,是第五个数据出了问题,然后检查代码发现好像没错,再打开赶集F12一下,哇,原来是被赶集这个源码坑了。上图
赶集把第5个规则改了一下,确实是防爬了。好了,不怕有bug,只要知道是什么原因就好解决了。改变策略,上re,用那个puid构建url(先在源码里面搜索下数量检查一下),然后写入mongodb表url_list中。
puid = re.findall('id="puid-(.*?)"', html, re.S)
count += 1
print('抓到第%s页链接' % count)
for l in puid:
fang_url = 'http://cd.ganji.com/fang3/%sx.htm' % l
url_list.insert_one({'link': fang_url})
print(fang_url)
根据每处房子的url抓取详细信息
- 用BeautifulSoup就是很简单的页面分析
data = {
'title': soup.select(".card-title i")[0].get_text(strip=True),
'price': soup.select(".price")[0].get_text(strip=True),
'synopsis': soup.select(".fang-info")[0].get_text(" ", strip=True),
'name': soup.select(".item-con")[0].get_text(strip=True),
'area': soup.select(".item-con")[1].get_text(strip=True),
'describe': soup.select(".describe")[0].get_text(strip=True),
'url': url
}
print(data)
items_info.insert_one(data)
最后用函数封装起来
it = url_list.find()
for i in it:
url = i['link']
get_items(url=url)
运行了一会依然是有bug出现了
总共是3405个url,抓了912个信息存入mongodb。至于为什么912个就停了,现在丝毫不想debug,日后再说吧。
- **数据可视化还不会,抓取动态页面也还没学,还有线程代理等等要学的。B回城回满血再传送到线上继续farm **