利用Python请求API,并将json数据保存到MySql中

最近需要一些城市的环境污染指数做分析,在网上搜了一下,没有完整的类型教程,在用百度和Google搜了几天解决方案之后,终于把代码写完了,Python新手,所以有些代码会写的比较啰嗦。

1. 导入所需库文件

<code>
import urllib.parse
import urllib.request
from urllib.parseimportquote
import json
import pymysql
import datetime
import urllib
</code>

2. 连接API并测试该API是否可以连接,此处用的是阿里云的API

<code>
def getAndSaveJSON(sent):
host = 'http://jisuaqi.market.alicloudapi.com'
path = '/aqi/query'
method = 'GET'
text = quote(sent)
appcode = '你的APIKEY'
url = host + path + '?city=' + text + '&cityid=0'
request = urllib.request.Request(url)
request.add_header('Authorization', 'APPCODE ' + appcode)
rawData = urllib.request.urlopen(request)
jsonStr = rawData.read()
data = json.loads(jsonStr.decode('utf8'))
return data
def json_path(data,path,sep="."):
pp = path.split(sep)
tem = data
for p in pp:
if type(tem) is dict:
tem = tem[p]
elif type(tem) is list:
tem = tem[int(p)]
else:
tem = None
return tem
def getDetail(pollution,path,sep="."):
info = path.split(sep)
temp = pollution
for i in info:
if type(temp) is dict:
temp = temp[i]
elif type(temp) is list:
temp = temp[int(i)]
else:
temp = None
return temp
pollution = json_path(getAndSaveJSON("杭州"),"result")
print("以下数据为测试是否可以连接api")
print(pollution)
print("-"*150)
</code>

3.连接数据库,填入数据库的信息

<code>
db = pymysql.connect("hostname","database","password","username")
cursor = db.cursor()
r_id = None //主键赋值为空,在mysql中设置id自增
time_now = datetime.datetime.now()
//需要分析的城市存在列表中
cites = ['北京','天津','太原','石家庄','济南',
'郑州','南京','苏州','上海','杭州',
'宁波','温州','莆田','泉州','厦门',
'广州','深圳','重庆','成都','绍兴',
'呼和浩特','兰州','贵阳','合肥','徐州',
'南通','常州','长沙','昆明','西安',
'汕头','东莞','南宁','无锡','扬州',
'哈尔滨','长春','珠海','唐山','衡水',
]
</code>

4.以下是取出数据,并encode为utf8格式,然后逐个存入数据库中

<code>
for city in cites:
city_info = json_path(getAndSaveJSON(str(city)), "result")
cityId = getDetail(city_info, "cityid").encode('utf-8')
cityName = getDetail(city_info, "city").encode('utf-8')
so2 = getDetail(city_info, "so2").encode('utf-8')
so224 = getDetail(city_info, "so224").encode('utf-8')
no2 = getDetail(city_info, "no2").encode('utf-8')
no224 = getDetail(city_info, "no224").encode('utf-8')
co = getDetail(city_info, "co").encode('utf-8')
co24 = getDetail(city_info, "co24").encode('utf-8')
o3 = getDetail(city_info, "o3").encode('utf-8')
o324 = getDetail(city_info, "o324").encode('utf-8')
pm10 = getDetail(city_info, "pm10").encode('utf-8')
pm1024 = getDetail(city_info, "pm1024").encode('utf-8')
pm2_5 = getDetail(city_info, "pm2_5").encode('utf-8')
pm2_524 = getDetail(city_info, "pm2_524").encode('utf-8')
iso2 = getDetail(city_info, "iso2").encode('utf-8')
ino2 = getDetail(city_info, "ino2").encode('utf-8')
ipm10 = getDetail(city_info, "ipm10").encode('utf-8')
ipm2_5 = getDetail(city_info, "ipm2_5").encode('utf-8')
aqi = getDetail(city_info, "aqi").encode('utf-8')
primaryPollutant = getDetail(city_info, "primarypollutant").encode('utf-8')
quality = getDetail(city_info, "quality").encode('utf-8')
timePoint = getDetail(city_info, "timepoint").encode('utf-8')
level = getDetail(city_info, "aqiinfo.level").encode('utf-8')
color = getDetail(city_info, "aqiinfo.color").encode('utf-8')
affect = getDetail(city_info, "aqiinfo.affect").encode('utf-8')
measure = getDetail(city_info, "aqiinfo.measure").encode('utf-8')
print(cityName.decode('utf-8') + "污染数据,Get!")
city_table_name = "city_aqi_" + cityId.decode('utf-8')
tem_table = "template_city"
try:
if cursor.execute("SHOW TABLES LIKE " + repr(city_table_name)):
cursor.execute("INSERT INTO "+ city_table_name + " VALUES(" "%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)", (r_id,cityId,cityName,so2,so224,no2,no224,co,co24,o3,o324,pm10,pm1024,pm2_5,pm2_524,iso2,ino2, ipm10,ipm2_5,aqi,primaryPollutant,quality,timePoint,level,color,affect,measure,time_now))
else:
cursor.execute("CREATE TABLE IF NOT EXISTS " + city_table_name + " LIKE " + tem_table)
print(city_table_name + " has been created")
//先将该城市的id存入city_info这个表中,方便查询
cursor.execute("INSERT INTO info_city VALUES("
"%s,%s,%s,%s)",
(r_id,cityName,cityId,time_now))
cursor.execute("INSERT INTO "+ city_table_name + " VALUES(" "%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)",
(r_id,cityId,cityName, so2, so224, no2,
no224, co, co24, o3, o324,
pm10, pm1024, pm2_5, pm2_524,iso2,
ino2,ipm10, ipm2_5, aqi, primaryPollutant,
quality, timePoint, level, color, affect,
measure,time_now))
rows = cursor.fetchall()
db.commit()
except Exception as e:
print(e)
db.rollback()
cursor.close() //记住关闭连接
db.close()
</code>

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,454评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,553评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,921评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,648评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,770评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,950评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,090评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,817评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,275评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,592评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,724评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,409评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,052评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,815评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,043评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,503评论 2 361
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,627评论 2 350

推荐阅读更多精彩内容