在上一篇文章中，我采用了Selenium+Chrome+BeautifulSoup的方式爬取国家统计局的数据（传送门：//www.greatytc.com/p/2575a8b93691）。这种方式虽然比较直观，看似简单，但是效率非常之低。能不能有其他方法更加快速的获取数据呢？
答案是，有！下面就让我为各位看官慢慢道来~
首先，观察需要爬取的页面（国家数据：http://data.stats.gov.cn/easyquery.htm?cn=E0101）。
可以看到，需要爬取的部分其实就是图1中红框部分。
然后，打开浏览器的开发者工具（笔者使用的浏览器是Chrome， 按F12就可以打开开发者工具），点开Network面板。
Network面板记录了页面上网络请求的详情信息，可以利用这一点观察点击后是如何发送Request并得到请求的资源信息。这里需要注意的是，由于这个网页中需要爬取的数据是使用AJAX动态加载的，因此在filter中需要点选XHR，表示筛选所有XHR类型的请求，达到只看XHR类型请求的目的。
比如，我们点击固定资产投资项目情况的时候，在Network面板中出现如下记录：
Amazing！我们成功捕获了点击固定资产投资项目情况按钮时的页面请求！接下来就需要详细观察一下这个请求是不是我们所需要的。
不难看出，这里面确实是我们需要爬取的数据。在这里数据是采用JSON格式传输的，如果直接从接口发起请求的话，返回的数据量要远小于直接打开网页，这也就是我们今天的主要目的：提升效率！那么问题来了，要怎么直接向接口发起请求呢？我们并不知道接口的URL啊！不要着急，秘密都藏在这个请求的Headers信息中了~
诸位请看！这个Request URL就是本次请求的URL地址，我们如果直接向这个URL发起请求，就会获取我们需要的JSON数据，使用postman车市一下：
Amazing！确实可以获取数据，不过看这URL后面跟着的那一长串参数，你是不有点眼晕？我们也不知道这里面的参数都是啥意思啊，就算有这个URL也只是这一个页面啊！
不必慌张，下面我们就来仔细观察分析一下这个URL的参数，你会发现其实很简单。
首先，还是在Network面板中打开这个XHR请求中的Hearders面板，在最下方有这次请求的全部参数信息，也就是图8 中红色方框中的内容。
然后，我们需要在页面上点选其他的按钮，看看其他请求的参数是什么样子的，从而发现其中的规律。比如现在打开的页面中，地区选择的是北京，那么如果我改成天津会怎样？
可以看到，当选中天津市的时候，Network面板中出现了一个新的请求事件，而这个请求除了wds中的valuecode与k1外，其他参数与北京市的并无二致。因此，我们可以大胆的猜测，wds中的valuecode为区域代码。
我们可以去页面的源码中验证一下。还是在开发者工具中，这次选择Elements面板，这里展示了当前页面的源代码。使用ctrl+F调出查询功能，在其中搜索‘110000’，结果如何呢？
Amazing！可以看到源代码中有所有区域的编码，证实了我们的猜测。
但是现在只解决了一个参数的问题，还有很多其他参数怎么办？当我们多点选不同按钮的时候，我们可以发现，除了wds，dfwds，k1中的参数有所变化外，其他参数其实是不变的。这样我们只需要再找到dfwds与k1中的参数的含义即可。
我们发现，每次调整时间选项的时候，dfwds中就会出现参数，并且参数跟我们选择的时间区间一致。每次选择不同的指标时，dfwds中会出现一个新的valuecode，我们可以猜测dfwds中wdcode是sj的时候，valuecode中传入的是查询时间，当wdcode为zb的时候，valuecode中传入的是标签的代码。下面我们来验证一下~
可以看出，wdcode为sj的时候，valuecode中传入需要查询的时间参数。
当我们选择不同指标的时候，wdcode在同一指标下都是一致的，也就说wdcode为zb的时候，valuecode中的参数是代表指标的代码。
现在就剩k1了，胜利在望了！通过观察，k1中的参数是一个13位的数字，而且每次请求的k1参数都不一样。有经验的小伙伴可能已经猜到了，这是一个unix时间戳（传送门https://baike.baidu.com/item/unix%E6%97%B6%E9%97%B4%E6%88%B3/2078227?fr=aladdin），使用python的time模块可以很简单的生成：
那么现在所有的参数都准备好了，我们试着构造一个url并发起请求。
Amazing！成功获取数据，那么只需要构造好地区与指标的列表，就可以取到我们想要抓取的数据了，然后再按照需求格式化数据即可！下面附上完整代码，可以按照需求调整。
import time
import requests
import os
import pandas as pd
import shutil
AREAS = ['110000', '120000', '130000', '140000', '150000', '210000', '220000', '230000', '310000', '320000', '330000', '340000', '350000', '360000', '370000',
'410000', '420000', '430000', '440000', '450000', '460000', '500000', '510000', '520000', '530000', '540000', '610000', '620000', '630000', '640000', '650000']
PARS = ['A1301', 'A1303', 'A1304', 'A1401', 'A1403', 'A1404', 'A1405', 'A1406']
NAMES = {'A1301': '固定资产投资构成情况', 'A1303': '固定资产投资住宅建设情况', 'A1304': '固定资产投资项目情况', 'A1401': '房地产开发投资情况',
'A1403': '房地产施工、竣工面积', 'A1404': '商品住宅施工、竣工面积', 'A1405': '办公楼施工、竣工面积', 'A1406': '商业营业用房施工、竣工面积'}
BASE_PATH = os.getcwd().replace('\\', '/')
DATA_PATH = BASE_PATH + '/data'
RESULT_PATH = DATA_PATH + '/result'
if os.path.exists(DATA_PATH):
shutil.rmtree(DATA_PATH)
os.makedirs(DATA_PATH)
os.makedirs(RESULT_PATH)
for par in PARS:
dfs = []
name = NAMES[par]
resultFile = '{}.csv'.format(name)
resultpath = RESULT_PATH + '/' + resultFile
for area in AREAS:
t = time.time()
timestamp = int(round(t * 1000))
m = 'QueryData'
dbcode = 'fsyd'
rowcode = 'zb'
colcode = 'sj'
wds = '[{"wdcode":"reg","valuecode":"%s"}]' % area
dfwds = '[{"wdcode":"zb","valuecode":"%s"},{"wdcode":"sj","valuecode":"2008-2018"}]' % par
url = 'http://data.stats.gov.cn/easyquery.htm?m={}&dbcode={}&rowcode={}&colcode={}&wds={}&dfwds={}&k1={}'.format(
m, dbcode, rowcode, colcode, wds, dfwds, timestamp)
fileName = '{}-{}.json'.format(par, area)
filePath = DATA_PATH + '/' + fileName
response = requests.get(url)
with open(filePath, 'w') as f:
f.write(response.text)
data = response.json()
dataNodes = data['returndata']['datanodes']
wdNodes = data['returndata']['wdnodes']
region = wdNodes[1]['nodes'][0]['cname']
cubeList = [[d['wds'][0]['valuecode'], d['wds'][2]['valuecode'],
d['wds'][1]['valuecode'], d['data']['data']] for d in dataNodes]
cubeDict = {}
columnNames = []
for i in wdNodes[0]['nodes']:
cname = i['cname']
columnNames.append(cname)
for cube in cubeList:
if cube[0] not in cubeDict:
cubeDict[cube[0]] = {}
cubeDict[cube[0]][cube[1]] = cube[3]
df = pd.DataFrame(cubeDict)
df.columns = columnNames
df['地区'] = region
dfs.append(df)
print('**********{}-{} Finished**********'.format(par, area))
result = pd.concat(dfs)
result.to_csv(resultpath, index_label='月份')
