在“获取新浪微博API数据”一文中，我们介绍了如何利用新浪微博api来获取数据。在本文中，我们将介绍如何使用python的json库保存获取的数据，以及利用dataframe进行加工，以便于后续的分析。
在成功调用微信api之后，我们就可以获取我们感兴趣的各类数据了。详细的介绍可以参见微博API。例如：
假设我们想获取用户发布的微博，我们可以使用微博读取接口中的statuses/user_timeline。
result=client.statuses__user_timeline() #statuses/user_timeline，斜杠用两个下划线代替
返回的是JsonDict对象：
In [14]: type(result)
Out[14]: weibo.JsonDict
内容如下：
{'hasvisible': False,
'interval': 0,
'marks': [],
'next_cursor': 0,
'previous_cursor': 0,
'statuses': [{'annotations': [{'mapi_request': True}],
'attitudes_count': 0,
'biz_feature': 0,
'comment_manage_info': {'comment_manage_button': 1,
'comment_permission_type': 0},
'comments_count': 0,
'created_at': u'Mon Sep 04 08:47:46 +0800 2017',
'darwin_tags': [],
'favorited': False,
'geo': None,...}
返回的JsonDict对象包含非常丰富的信息，其中的statuses有我们需要的内容，比如用户发布的微博：
print(result['statuses'][0]['text'])
转发微博
为了方便起见，我们也可以这样写：
result=client.statuses__user_timeline()["statuses"]
print(result[0]['text'])
同理，如果我们想获取一条原创微博的转发微博，可以使用statuses/repost_timeline:
reposts=client.statuses__repost_timeline(id=3741020640174910, page=1, count=100)['reposts']
返回92条转发微博：
In [37]: len(reposts)
Out[37]: 92
原微博的内容如下：
In [40]: print(reposts[0]["retweeted_status"]["text"])
#云南鲁甸县地震#【遇难人数增至615人[蜡烛]】据抗震救灾指挥部消息，截至今天19时，#地震共造成615人死亡，其中鲁甸县526人、巧家县76人、昭阳区1人、会泽县12人；#目前仍有114人失踪，其中鲁甸县109人、巧家县5人；另有3143人受伤。
1将JsonDict对象保存到本地文件
json格式是目前序列化数据最流行的方式之一，微博api数据返回的就是json格式的数据。python的 json模块提供了编码和解码json数据的方法。
把一个python字典转化成json：
import json
data = {
'name' : 'ACME',
'shares' : 100,
'price' : 542.23
}
json_str = json.dumps(data) #将dict转化成str格式
In [45]: type(json_str)
Out[45]: str
下面的方法则是将json编码的字符串转换回python数据结构：
data = json.loads(json_str)
如果你处理的是文件而不是字符串，可以使用json.dump()和json.load来编码和解码json数据，并将数据存储到文件或读取出来：
# Writing JSON data
with open('data.json', 'w') as f:
json.dump(data, f)
# Reading data back
with open('data.json', 'r') as f:
data = json.load(f)
例如，我们可以将微博转发数据存储到文件中：
with open('/Users/xiangzhendong/Downloads/Python/temp/json_weibo.txt','w') as f:
json.dump(reposts, f)
存储结果如下：
2 json数据的读取
现在，我们尝试从文件对象中读取和解析json字符：
with open('/Users/xiangzhendong/Downloads/Python/temp/json_weibo.txt') as file:
data=json.load(file)
for repost in data:
print('mid:'+repost['mid'])
print('user_id:'+str(repost['user']['id']))
结果如下：
mid:3841703830612632
user_id:1243844290
mid:3802996099803616
user_id:2169840313
mid:3759176360717294
user_id:1733779492
mid:3745398168428966
user_id:5238718457
mid:3743240718704599
user_id:3880272707
mid:3742370405219661
user_id:5023165699
mid:3741754479940177
user_id:2726578993
...
为了便于重复读取，我们可以定义下面的函数：
import pandas as pd
def toDataFrame(entry):
dataset=pd.DataFrame()
length=len(entry)
#转发微博的属性
dataset['mid']=[entry[i].id for i in range(0, length)] #也可以这样写：dataset['mid']=[entry[i]['id'] for i in range(0, len(entry))]
#dataset['text']=[entry[i].text for i in range(0, length)]
dataset['created_at']=[entry[i].created_at for i in range(0, length)] #转发时间
dataset['reposts_count']=[entry[i].reposts_count for i in range(0, length)] #转发量
dataset['comments_count']=[entry[i].comments_count for i in range(0, length)] #转发量
#微博转发者的属性, 嵌套的字典
dataset['user_id']=[entry[i].user.id for i in range(0, length)]
#源微博的属性
dataset['rts_mid']=[entry[i].retweeted_status.id for i in range(0, length)]
#源微博发出者的属性, 双重嵌套
dataset['rtsuser_id']=[entry[i].retweeted_status.user.id for i in range(0, length)]
return dataset
通过调用以上函数，我们就可以轻松读取json数据了：
dataset=toDataFrame(reposts)
