背景
最近开始学习python爬虫，刚好看到网上的爬虫实例，转自静觅爬虫 。转载是为了记录学习过程中遇到的问题，并促使自己在学习过程中养成一个文档记录的习惯。
实验目标
1、对百度贴吧的任意帖子进行抓取
2、指定只抓取楼主的发帖内容
3、将抓取的内容保存到文档中
1.URL格式的确定
首先我们关注任意一个百度贴吧的帖子比如：http://tieba.baidu.com/p/3138733512?see_lz=1&pn=1 这是一个关于14-15赛季现役50大球员分享，分析下这个地址。
http:// 代表资源使用的http协议 tieba.baidu.com 是百度的二级域名，指向百度贴吧的服务器 /p/3138733512 是服务器某个资源，即这个帖子的地址定位符 see_lz=1&pn=1是该URL的两个参数，分别代表了只看楼主和帖子页码，等于1表示该条件为真
所以我们可以把URL分为两部分，一部分为基础部分，一部分为参数部分。
例如，上面的URL我们划分基础部分是 http://tieba.baidu.com/p/3138733512 ， 参数部分是 ?see_lz=1&pn=1
2.页面的抓取
熟悉了URL的格式，那就让我们使用urllib2库来抓取页面的内容，这次会直接使用面向对象的编程方法，定义一个叫做BDTB的类，一个初始化方法，一个获取页面的方法。
其中有些我们想指定给程序是否要只看楼主，所以我们把只看楼主的参数初始化放在类的初始化上，即init方法。另外获取页面的方法我们需要知道一个参数就是帖子页码，所以这个参数的指定我们放在该方法中。
综上所述，我们初步构建出基础代码如下：
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
#百度贴吧爬虫类class BDTB:
class BDTB:
#初始化，传入基地址，是否只看楼主的参数
def __init__(self,baseUrl,seeLZ):
self.baseURL = baseUrl
self.seeLZ = '?see_lz='+str(seeLZ)
#传入页码，获取该页帖子的代码
def getPage(self,pageNum):
try:
url = self.baseURL+ self.seeLZ + '&pn=' + str(pageNum)
request = urllib2.Request(url)
response = urllib2.urlopen(request)
print response.read()
return response
except urllib2.URLError, e:
if hasattr(e,"reason"):
print u"连接百度贴吧失败,错误原因",e.reason
return NonebaseURL = 'http://tieba.baidu.com/p/3138733512'bdtb = BDTB(baseURL,1)bdtb.getPage(1)
运行代码，我们可以在屏幕中看到楼主第一页发言的所有内容，其内容为html形式。
3.提取相关信息
1)提取帖子标题
首先让我们抓取帖子的标题，采用chrome浏览器的开发者工具，发现关于标题的那段html代码如下：
<h3 class="core_title_txt pull-left text-overflow " title="纯原创我心中的NBA2014-2015赛季现役50大" style="width: 416px">纯原创我心中的NBA2014-2015赛季现役50大</h3>
所以我们想要抓取<h3>标签中的内容，需要指定class确定唯一，因为 <h3> 标签实在是太多了。因此我们这边是匹配到标题的正则表达式可以写成：
<h3 class="core_title_txt.*?>(.*?)</h3>
所以我们这边添加一个增加获取帖子标题的方法
def getTitle(self,page):
pattern = re.compile('<h3 class="core_title_txt.*?>(.*?)</h3>',re.S)
result = re.search(pattern,page)
if result:
return result.group(1).strip()
else:
return None
2)获取帖子总数
同样我们这边获得帖子的总页数可以通过分析通共？页来获得因此获得页数的方法。
def getPageNum(self,page):
pattern = re.compile('<li class="l_reply_num.*?</span>.*?<span.*?>(.*?)</span>',re.S)
result = re.search(pattern,page)
if result:
return result.group(1).strip()
else:
return None
3)获取正文的内容
审查元素，我们发现每个帖子的主要内容在<div id="post_content_xxxxx><div\>所以我们给出的正则表达式是
<div id="post_content_.*?>(.*?)</div>
获取帖子内容的方法
def getContent(self,page):
pattern = re.compile('<div id="post_content_.*?>(.*?)</div>',re.S)
items = re.findall(pattern,page)
contents = []
for item in items:
print item
先打印一下内容的显示情况。
帖子内容中有很多东西是我们并不需要的，所以需要一个工具直接替换或者删除掉我们不需要的内容。这里我们直接用原帖子的替换类。
import reclass Tool:
removeImg = re.compile('<img.*?>| {7}|')
removeAddr = re.compile('<a.*?>|</a>')
replaceLine = re.compile('<tr>|<div>|</div>|</p>')
replaceTD = re.compile('<td>')
replacePara = re.compile('<p.*?>')
replaceBR = re.compile('<br><br>|<br>')
removeExtraTag = re.compile('<.*?>')
def replace(self, x):
x = re.sub(self.removeImg, "", x)
x = re.sub(self.removeAddr, "", x)
x = re.sub(self.replaceLine, "\n", x)
x = re.sub(self.replaceTD, "\t", x)
x = re.sub(self.replacePara, "\n ", x)
x = re.sub(self.replaceBR, "\n", x)
x = re.sub(self.removeExtraTag, "", x)
return x
这个工具类可以在同目录下新建一个工具脚本，然后从这个脚本中导入定义的方法。所以我们的代码变成了如下形式：
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
from Tool import *
#百度贴吧爬虫类
class BDTB:
#初始化，传入基地址，是否只看楼主的参数
def __init__(self,baseUrl,seeLZ):
self.baseURL = baseUrl
self.seeLZ = '?see_lz='+str(seeLZ)
self.tool = Tool()
#传入页码，获取该页帖子的代码
def getPage(self,pageNum):
try:
url = self.baseURL+ self.seeLZ + '&pn=' + str(pageNum)
request = urllib2.Request(url)
response = urllib2.urlopen(request)
return response.read().decode('utf-8')
except urllib2.URLError, e:
if hasattr(e,"reason"):
print u"连接百度贴吧失败,错误原因",e.reason
return None
#获取帖子标题
def getTitle(self):
page = self.getPage(1)
pattern = re.compile('<h3 class="core_title_txt.*?>(.*?)</h3>',re.S)
result = re.search(pattern,page)
if result:
#print result.group(1) #测试输出
return result.group(1).strip()
else:
return None
#获取帖子一共有多少页
def getPageNum(self):
page = self.getPage(1)
pattern = re.compile('<li class="l_reply_num.*?</span>.*?<span.*?>(.*?)</span>',re.S)
result = re.search(pattern,page)
if result:
#print result.group(1) #测试输出
return result.group(1).strip()
else:
return None
#获取每一层楼的内容,传入页面内容
def getContent(self,page):
pattern = re.compile('<div id="post_content_.*?>(.*?)</div>',re.S)
items = re.findall(pattern,page)
#for item in items:
# print item
print self.tool.replace(items[1])
baseURL = 'http://tieba.baidu.com/p/3138733512'
bdtb = BDTB(baseURL,1)
bdtb.getContent(bdtb.getPage(1))
重新运行查看 以及是我们想要的形式了：
4)写入文件
主要是下面的两句
file = open(“tb.txt”,”w”)
file.writelines(obj)
5）完善代码
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
from Tool import *
class BDTB:
def __init__(self,baseUrl,seeLZ,floorTag):
self.baseURL = baseUrl
self.see_LZ = '?see_lz='+str(seeLZ)
self.tool = Tool()
self.file = None
self.floor = 1
self.defaultTitle =u"百度贴吧"
self.floorTag = floorTag
def getPage(self,pageNum):
try:
url = self.baseURL+self.see_LZ+'&pn='+str(pageNum)
request = urllib2.Request(url)
response = urllib2.urlopen(request)
return response.read().decode('utf-8')
except urllib2.URLError,e:
if hasattr(e,"reason"):
print u"连接百度贴吧失败，错误原因",e.reason
return None
def getTitle(self,page):
pattern = re.compile('<h3 class="core_title_txt.*?>(.*?)</h3>',re.S)
result = re.search(pattern,page)
if result:
return result.group(1).strip()
else:
return None
def getPageNum(self,page):
pattern = re.compile('<li class="l_reply_num.*?</span>.*?<span.*?>(.*?)</span>',re.S)
result = re.search(pattern,page)
if result:
return result.group(1).strip()
else:
return None
def getContent(self,page):
pattern = re.compile('<div id="post_content_.*?>(.*?)</div>',re.S)
items = re.findall(pattern,page)
contents = []
for item in items:
content = "\n"+self.tool.replace(item)+"\n"
contents.append(content.encode('utf-8'))
return contents
def setFileTitle(self,title):
if title is not None:
self.file = open(title + ".txt","w+")
else:
self.file = open(self.defaultTitle + ".txt","w+")
def writeData(self,contents):
print contents
print type(contents)
for item in contents:
if self.floorTag == '1':
floorLine = "\n" + str(self.floor) + u"********************************************************" \
u"********************************\n"
self.file.write(floorLine)
self.file.write(item)
print item
print "*"*10
self.floor +=1
def start(self):
indexPage = self.getPage(1)
pageNum = self.getPageNum(indexPage)
title = self.getTitle(indexPage)
self.setFileTitle(title)
if pageNum == None:
print "URL已失效，请重试"
return
try:
print "该帖子共有" + str(pageNum) + "页"
for i in range(1,int(pageNum)+1):
print "正在写入第" + str(i) + "页数据"
page = self.getPage(i)
contents = self.getContent(page)
self.writeData(contents)
except IOError,e:
print "写入异常，原因" +e.message
finally:
print "写入任务完成"
print u"请输入帖子代号"
# baseURL = 'http://tieba.baidu.com/p/' + str(raw_input(u'http://tieba.baidu.com/p/'))
baseURL = 'http://tieba.baidu.com/p/3138733512'
# seeLZ = raw_input("是否只获取楼主发言，是输入1，否输入0\n")
seeLZ = 1
floorTag = raw_input("是否写入楼层信息，是输入1，否输入0\n")
bdtb = BDTB(baseURL,seeLZ,floorTag)
bdtb.start()
另外再学习借鉴的过程中遇到了一些问题，比如遇到TypeError:excepted string or buffer （因为图片上传暂时未解决）,蛋疼我也忘了遇见啥问题了。。。文档编写要及时，实验过程中要有循序渐进的过程。
