数据导入
mysql> CREATE TABLE wbdata (
-> creat_at DATETIME NOT NULL,
-> keyword VARCHAR(30) NOT NULL,
-> wid BIGINT NOT NULL,
-> repost INT NOT NULL,
-> platform CHAR(35) ,
-> user CHAR(45) NOT NULL,
-> uid INT NOT NULL,
-> follower INT NOT NULL,
-> gender VARCHAR(2),
-> text VARCHAR(500),
-> tags VARCHAR(500)
->
-> ) ;
先新建表.
因为微博文本中带有大量的表情符号不好集中过滤，所以最好的办法是将数据库编码改为utf8mb4.
show variables like 'character%';查看目前编码方式.
目前编码方式
进行修改：
SET character_set_client = utf8mb4;
SET character_set_results = utf8mb4;
SET character_set_connection = utf8mb4;
SET character_set_server = utf8mb4;
SET character_set_database = utf8mb4;
修改完成后：
修改后
system一直会是utf8.
此时导入txt数据.
load data local infile 'C:/.../GitHub/WBDatabase/time/04-27.txt' into table wbdata
lINES TERMINATED BY '\r\n';
要注意，转义符反斜杠/是不可以出现在数据里的，转义符后出现中文和符号将会导致ERROR 1300 (HY000): Invalid utf8mb4 character string错误，所以建议在过滤符号的时候特别注意一下.
当确保数据里没有转义符以后即可导入成功.
注：此处我用python的cursor.execute(sql)失败了，
一直报Warning: Incorrect string value: '\xE4\xB8\x8D\xE4\xB8\xB9' for column 'keyword' at row 2这个错误.
但是直接在mysql命令行里执行是可以的.
查了半天无法解决，就手动导入吧.
导入成功
导入后，先删掉第一行的空白delete from wbdata where wid = 0;
然后去重：
delete FROM wbdata WHERE wid in (SELECT duplicate
FROM (SELECT wid AS duplicate FROM wbdata GROUP BY wid
HAVING COUNT( * )>1)duplicatetable)
去重结果
用Python查询
在Python里面对mysql数据库进行查询，
首先建立连接。
我这里的用户就是根用户，所以为root，输入你的数据库密码和数据库名。
sql定义你的sql语句。
cursor.execute(sql)执行sql并返回结果。
wbdb = MySQLdb.connect("localhost","root","你的密码", "你的数据库名", charset='utf8' )
cursor = wbdb.cursor()
sql = "select * from table1"
cursor.execute(sql)
results = cursor.fetchall()
返回的结果是tuple类型：
样表含两行数据
results返回的结果和类型
