整体爬虫逻辑：
1.获取省份和城市的定位，然后定位出各个城市和相对应的url
2.获取到 130 xx号段 （共317个）中的xxx个
3.获取最终的号段号码
先贴上源码
#抓取省份及城市
import requests
from lxml import etree
url='http://www.51hao.cc/'
req=requests.get(url)
req.encoding='gb2312'
html=req.text
select=etree.HTML(html)
infos=select.xpath('//div[@class="fkce"]/div[@class="fkt"][position()>1]')
#print(len(infos)) #核对下省的数量是否一致
for info in infos:
#定位省的地址
province=info.xpath('div[@class="fkbj"]/p/a/text()')[0]
#print(province)
#定位城市
citys=info.xpath('div[@class="fklk"]/p/a/text()')
#print(citys)
#城市的url
city_urls = info.xpath('div[@class="fklk"]/p/a/@href')
#print(province,citys,city_urls)
city_infos = zip(citys, city_urls) #zip函数接受任意多个（包括0个和1个）序列作为参数，返回一个tuple列表。
#print(city_infos)
for city_info in city_infos:
city=city_info[0]
#print(city)
city_url=city_info[1]
#print(province,city,city_url)
url2 = 'http://www.51hao.cc/city/beijing/beijing.php'
req2 = requests.get(url2)
req2.encoding = 'gb2312'
html2 = req2.text
selector2 = etree.HTML(html2)
infos = selector2.xpath('//div[@class="all"]//div[@class="num_bg"]')
num = len(infos)
# print(num) #打印出共有多少个
for i in range(num):
first_3 = selector2.xpath('//div[@class="all"]/div[%s]/div[1]/span[@class="nums"]/text()' % str(i + 2))[
0] # 号码段前三位
# print(first_3)
types = selector2.xpath('//div[@class="all"]/div[%s]/div[1]/text()' % str(i + 2))[0] # xx号段 (共xxx个)
# print(types)
mobiles = selector2.xpath('//div[@class="all"]/ul[%s]/li/a/text()' % str(i + 1)) # 号码段内的号码
# print(mobiles)
type1 = types.split(" ")[0] # 获取xx号段 (共xxx个）中xx号段
# print(type1)
total = types.split(' ')[1].replace('(共', '').replace('个)', '') # 获取(共xxx个)中的xxx
# print(total)
# print(i+2,first_3,type1,total,mobiles)
for mobile in mobiles:
#print(i + 2, first_3, type1, total, mobile)
print(province, city, first_3, type1, total, mobile)
爬虫结果
关于定位的问题：
1. infos=select.xpath('//div[@class="fkce"]/div[@class="fkt"][position()>1]')
第一个div[class="fkce"]下可以找到省份和城市，可是div[@class="fkce"]下第一个div[@class="fkt"]下的第一个为各省市号段的那一列，要过滤掉第一个div，这里用到position()过滤第一div内的内容。
2. city_infos = zip(citys, city_urls) #把city是，和city_urls返回一个元祖，再去取里面的值
zip函数接受任意多个（包括0个和1个）序列作为参数，返回一个tuple列表。只能在循环中打印出来。在循环中元祖中选出城市与相对应的url打印出来
城市的获取
在循环中元祖中选出城市与相对应的url打印出来
3. infos=selector.xpath('//div[@class="all"]//div[@class="num_bg"]') #在这个范围内找到 获取到 130 xx号段 （共317个）中的xxx个
WX20170904-170305@2x.png
4. first_3 = selector.xpath('//div[@class="all"]/div[%s]/div[1]/span[@class="nums"]/text()'%str(i+2))[0] #号码段前三位
用到了【 】方法
div[%s] %str(i+2))过滤第一个
5. types = selector.xpath('//div[@class="all"]/div[%s]/div[1]/text()' % str(i + 2))[0] #xx号段 (共xxx个)
mobiles = selector.xpath('//div[@class="all"]/ul[%s]/li/a/text()' % str(i + 1)) #号码段内的号码
6. type1=types.split(" ")[0] #获取xx号段 (共xxx个）中xx号段
total = types.split(' ')[1].replace('(共', '').replace('个)', '') #获取(共xxx个)中的xxx
最后把获取的连接到一起打印出来
for mobile in mobiles:
print(province, city, first_3, type1, total, mobile)
