前言

之前写了一个简单的python爬虫，爬取了赶集网上二手物品的的大概2000条数据，代码已经写完好久了，今天通过对商品数据中所处地区的分析，做一个简单数据分析。

工具&环境

• python 3.6
• jupyter notebook
• Mongodb

准备工作

首先，导入我们所需要的包，其中charts是图表绘制的相关的python包。之后，再通过pymongo连接本地数据库。

import pymongo
import types
import charts
from string import punctuation
#连接数据库
client = pymongo.MongoClient('localhost',27017)
ganji = client['ganji_data']
url_list = ganji['url_list']
item_info = ganji['item_info']

现在我们可以通过简单的一行代码查看前300条数据集的地区信息

for i in item_info.find().limit(300):
    print(i['area'])

地区信息.PNG

数据整理

因为数据比较多，数据格式不统一，为了减少错误，可以通过简单的代码，对数据格式进行整理与清洗。具体代码如下所示：

 for i in item_info.find():
        if isinstance(i['area'],str):
             item_info.update_one({'_id':i['_id']},{'$set':{'area':i['area'].split('-')}})

对数据格式进行简单清洗之后，接下来要做的就是重新生成一个由地区信息重新组成的新的列表。去除重复信息，可以看到地区信息如下：

item_list = []
for i in item_info.find():
    item_list.append(i['area'][0])
area_index = list(set(item_list))
print(area_index)
    

地区列表.PNG

现在，重新查看数据中个地区出现的次数，如下：

post_times = []
for index in area_index:
    post_times.append(item_list.count(index))
print(post_times)

地区数量.PNG

因为charts包中的绘图函数参数有特定的格式，所以，需要定义一个可以生成字典格式的函数，在这个函数中，通过yield返回一种新的的数据格式。其实，简单来说，就是通过zip函数生成由地区信息和地区出现次数所组成的字典。

def data_gen(types):
    length = 0
    if length <= len(area_index):
        for area,times in zip(area_index,post_times):
            data = {
                'name':area,
                'data':[times],
                'type':types
            }
            yield data
            length = length + 1
            
               

调用函数，出现如下信息，说明data_gen()函数能够成功运行。

data_gen('column')

传入column参数，返回信息如下：

返回值.PNG

现在，重新遍历数据，可以发现，返回字典形式的数据结构，其中，name代表地区信息，data代表地区出现的次数,type是我们传入的参数。

for i in data_gen('column'):
    print(i)

数据整理之后的信息.PNG

数据可视化分析

做完之前的准备工作，可以利用charts包进行简单的可视化分析了，通过简单的分析，可以看到，出货量最大的城市是北上广深，不愧是一线城市！

series = [data for data in data_gen('column')]
charts.plot(series,show='inline',options = dict(title = dict(text = 'This is genji data')))

可视化分析.PNG