1.1 json字符串支持的数据格式

1.对象（字典）用 {} 表示
2.数组（列表）用 [] 表示
3.整形，浮点型
4.字符串类型必须用双引号 ""

1.2 字符串和json数据的相互转换

import json
#1.json.dumps()将python对象转换为json字符串
x = [
    {
        'name':'海东',
        'age':20
    },
    {
        "name":'王小明',
        'age':30
    }
]
json_str = json.dumps(x)
#2.将json字符串dump进文件
with open('json.json','w',encoding='utf-8')as fp:
    json.dump(x,fp,ensure_ascii=False)
#3.将json字符串load为字符串
x = '[{"name": "海东", "age": 20}, {"name": "王小明", "age": 30}]'
y = json.loads(x)
print(y)
#4.从文件中直接读取json字符串
with open('json.json','r',encoding='utf-8')as fp:
    x = json.load(fp)
    print(x)

1.3 csv文件的读写

读CSV文件的两种方法

#读取csv文件的两种方法
#1
import csv
with open('stock.csv','r')as fp:
    #reader是一个迭代器
    reader = csv.reader(fp)
    next(reader)#剔除表头即0号元素
    for x in reader: #x是一个列表
        name = x[3] #获取特定数据
        value = x[-1]
        print({'name':name,'value':value})
#2
import csv
with open('stock.csv','r')as fp:
    #使用DictReader创建的reader不会包含标题
    #reader是一个迭代器，遍历这个迭代器返回一个字典
    reader = csv.DictReader(fp)
    for x in reader:
        value = {"name":x['name'],'value':x['value']}
        print(value)

写csv文件的两种方法

#写CSV文件的两种方式
#1.
import csv
headers = ['username','age','height']
values = [('张三',18,160),('李四',18,160),('王二',18,160)]
with open('value.csv','w',encoding='utf-8',newline='')as fp: #newline='',将换行符\n替换为''
    writer = csv.writer(fp)
    writer.writerow(headers)
    writer.writerows(values)
#2.
import csv
headers = ['username','age','height']
values = [{'username':'张三','age':18,'height':160},
          {'username':'李四','age':18,'height':160},
          {'username':'王二','age':18,'height':160}
          ]
with open('file.csv','w',encoding='utf-8',newline='')as fp:
    writer= csv.DictWriter(fp,headers)
    writer.writeheader()
    writer.writerows(values)

2.1写入MySQL数据库的两种方法

# import pymysql
#连接数据库
# db = pymysql.connect(
#     host='********', #主机名
#     user='**', #MySQL用户名
#     password='123456',
#     database='test1', #数据库名
#     port=3306
# ) 
# cursor = db.cursor()
#直接插入数据 insert into user(表头) value(值)
# sql = """
# insert into user(id,username,age,password) value(2,'王小明',18,'123456')
# """
# cursor.execute(sql)
# db.commit()
# db.close()
#通过函数方法插入数据
# sql = """
# insert into user(id,username,age,password) values(null ,%s,%s,%s)
# """
# #注意值需要带引号
# username = 'spider'
# age = '20'
# password = '123456'
# cursor.execute(sql,(username,age,password))
# db.commit()
# db.close()

2.2 查找数据的三种方法

#查找数据的三种方法
#1.fetchone()一次只返回一条数据
#2.fetchall()返回所有满足要求的数据
#3.fetchmany(size) 获取特定条数的数据
# import pymysql
# db = pymysql.connect(
#     host='*******',
#     user='*****',
#     password='*****',
#     database='test1',
#     port=3306
# )
# cursor = db.cursor()
# sql = """
# select username,age from user where id=2
# """
# cursor.execute(sql)
# result = cursor.fetchone()
# print(result)
# db.close()
#返回全部数据
# sql = """
# select * from user
# """
# cursor.execute(sql)
# result = cursor.fetchall()
# print(result)
# db.close()
#选取几条数据
# sql = """
# select * from user
# """
# cursor.execute(sql)
# result = cursor.fetchmany(2)
# print(result)
# db.close()

2.3 MySQL数据库的删除与更新操作

import pymysql
db = pymysql.connect(
    host='39.101.173.94',
    user='xy',
    password='123456',
    database='test1',
    port=3306
)
cursor = db.cursor()
#删除数据
sql = """
delete from user where id=4
"""
#更新数据
sql = """
update user set password='帝骑哥别盗我号' where id=3
"""
cursor.execute(sql)
db.commit()
db.close()

mysql数据库权限管理

1.添加用户
create user xxxx identified by 'password';
创建了用户xxxx，密码是password
2.授权
grant all privileges on databasename.* to 'xxxx'@'%';
flush privileges;
上面的语句将databasename数据库的所有操作权限都授权给了用户xxxx
3.修改密码
update mysql.user set password = password('zhangsannew') where user = 'zhangsan' and host = '%';
flush privileges;
4.删除用户
drop user zhangsan@'%';

3.1MongoDB数据库基本知识

database 数据库
collection 数据库表/集合
document 数据记录行
filed 数据字段/域
index 索引
primary key 主键
相关指令
db 查看当前数据库
show dbs 查看所有数据库
use 数据库名   作用是切换数据库，若数据库不存在则创建数据库
db.dropDatabase() 删除当前数据库
db.集合名.insert(value)  添加数据到指定集合
db.集合名.find()  查看指定集合中的所有数据
本机MongoDB制作成服务后相关操作
net start mongodb 启动服务
net stop mongodb 停止服务
"路径\mongod.exe" --remove 移除MongoDB

3.2 python操控MongoDB数据库

import pymongo
#获取连接mongodb的对象
client = pymongo.MongoClient("127.0.0.1",port=27017)
#获取数据库
db = client.zhihu
#获取集合
collection = db.qa
#写入单条数据
# collection.insert_one({'username':'海东大树','password':'Diend'})
#写入多条数据
# collection.insert_many([
#     {
#         "username":"王小明",
#         "password":"decade",
#         "tips":"没有比我更有爱心的骑士了"
#     },
#     {
#         "username":"常磐庄吾",
#         "password":"omazio",
#         "tips":"帝骑哥别盗我号"
#     }
# ])
#获取集合中所有数据
# result = collection.find()
# for x in result:
#     print(x)
#获取集合中一条数据
# result = collection.find_one({"password":"omazio"}) #大括号为过滤条件
# print(result)
#更新一条数据
# collection.update_one({"username":"海东大树"},{"$set":{"username":"白沃兹"}})
#更新多条数据
# collection.update_many({"username":"白沃兹"},{"$set":{"username":"海东大树"}})
#删除一条数据
# collection.delete_one({"username":"常磐庄吾"})
#删除多条数据
# collection.delete_many({"username":"王小明"})

爬虫学习（三）json字符串与数据库

爬虫学习（三）json字符串与数据库

1.1 json字符串支持的数据格式

1.2 字符串和json数据的相互转换

1.3 csv文件的读写

2.1写入MySQL数据库的两种方法

2.2 查找数据的三种方法

2.3 MySQL数据库的删除与更新操作

mysql数据库权限管理

3.1MongoDB数据库基本知识

3.2 python操控MongoDB数据库