朋友让我帮忙写个小程序，用于他的股票数据分析。至于分析这个目的，有什么用，我就不懂了。因为我不炒股。
要求大概这样：
从网上下载下来的每天数据是份EBK后缀的文档。度娘了一下，EBK也就是高度压缩的txt。所以用pandas读取应该没问题的。
把下载的EBK的数据，比对关联另一份汇总的excel文档中的一些股票代码与公司名称数据。关联好后，写在汇总表的新一列中。
汇总的excel表，每一列的标题都是一个日期。这就是数据的汇总要求。
image.png
接着要对特定时间段的数据，例如12/29~2/4，公司名字出现的次数做个统计。
于是花了一个下午的时间，写了两个程序。
一个是汇总数据。这个还比较好做。逻辑相对简单，
- 读取EBK文档中的股票代码
- 关联原文档的公司名称
- 写入到文档指定位置
import pandas as pd
from openpyxl import load_workbook
import tkinter as tk
from tkinter import filedialog
import time
from datetime import datetime
def getfile(): #获得从SharePoint下载下来的JR原始报表
root=tk.Tk()
root.withdraw()
#Folderpath=filedialog.askdirectory() #获得选择好的文件夹
Filepath=filedialog.askopenfilename() #获得选择好的文件的路径
return Filepath #返回文件路径
print("请选择原始下载的文件EBK格式")
filelink=getfile()
#filelink="C:\\Users\\lorencecheng\\Desktop\\Test\\户数减少0212.EBK" #原始下载的文件路径
data=pd.read_table(filelink,header=None) #读取原始文件
data.columns=['代码']
print("好的，请再次选择目标Excel总表")
target_link=getfile()
#target_link="C:\\Users\\lorencecheng\\Desktop\\Test\\2020.xlsx" #目标汇总文件的路径
df=pd.read_excel(str(target_link),sheet_name="股票号") #读取汇总文件的股票代码
stockname={} #用一个字典，匹配股票代码和对应的名字
for stockno in data['代码']:
stockno=int(str(stockno).lstrip("1"))
if stockno in df['代码'].tolist(): #如果该代码存在于股票代码清单中
stockname[stockno]=".".join(df.loc[df['代码']==stockno]["名称"].values)
else:
stockname[stockno]="N/A"
newdata=pd.DataFrame(list(stockname.items())) #把字典赋予一个新的表单
newdata.columns=["代码","名字"]
newdata.sort_values(by=['代码'],ascending=False)
book = load_workbook(target_link)
writer = pd.ExcelWriter(target_link, engine='openpyxl')
writer.book = book
writer.sheets = dict((ws.title, ws) for ws in book.worksheets)
ws=book["增持和户数"]
maxcolumn=ws.max_column
date=input('输入导入的日期, 注意格式如 "2020/2/15" : ' )
date=datetime.strptime(date,'%Y/%m/%d')
ws.cell(row=1,column=maxcolumn+1).value=date
ws.cell(row=1,column=maxcolumn+2).value=date
newdata.to_excel(writer, "增持和户数", startcol=20,startrow=1,index=None,header=None)
writer.save()
print("已经导入完成")
time.sleep(30)
原以为分析部分的代码也比较好做。其实发现掉进了泥潭中。一直琢磨到晚上8点才完成。逻辑大概这样：
- 把数据从excel表中重新读取出来。
- 按给定的日期区间，筛选相应的数据。
- 然后统计其中的字符出现的次数。
要实现第一步导入很简单，pandas.read_excel就可以做了。
我卡在了第二步的日期筛选，我输入一个字符串日期，要转换为指定格式的datetime数据。
newdata=newdata.reset_index()
startdate=input("开始日期, 格式如 2020/1/15: ")
endate=input("结束日期, 格式如 2020/1/18: ")
startdate=datetime.strptime(startdate,'%Y/%m/%d')
endate=datetime.strptime(endate,'%Y/%m/%d')
syear = (int(startdate.strftime('%Y')))
smonth = (int(startdate.strftime('%m')))
sday = (int(startdate.strftime('%d')))
eyear = (int(endate.strftime('%Y')))
emonth = (int(endate.strftime('%m')))
eday = (int(endate.strftime('%d')))
rangeData=newdata[(newdata["Date"]>=datetime(syear,smonth,sday)) & (newdata["Date"]<datetime(eyear,emonth,eday+1))]
折腾了好几个小时，才出来以上一段按日期节选数据的代码。
第三步骤的统计，也难到我了。我不知道如何在Dataframe中遍历所有数据，然后把它们计算它们的次数。
于是我想如何把Dataframe变为我稍微熟悉点的列表list，再对列表进行字典的转换。通过字典的形式计算次数。。。
list1=[]
try:
round=1
for r in range(1,(rangeData.shape[0]),2):
for c in range(1,(rangeData.shape[1])):
result=str(rangeData.iloc[[r],[c]].values)
result=result.replace("[[","")
result=result.replace("]]","")
result=result.strip("'")
list1.append(result)
except:
pass
output = {}
for i in set(list1):
output[i] = list1.count(i)
#for key,value in output.items():
#print(key+": "+str(value))
累死人。笨死人。千辛万苦搞出了个字典数据了，要把字典重新输出到excel总表中。我就把字典再次转换为dataframe，再输出。
于是，整个数据分析的代码就如下了：
import pandas as pd
from datetime import datetime
from openpyxl import load_workbook
import time
import tkinter as tk
from tkinter import filedialog
def getfile(): #获得从SharePoint下载下来的JR原始报表
root=tk.Tk()
root.withdraw()
#Folderpath=filedialog.askdirectory() #获得选择好的文件夹
Filepath=filedialog.askopenfilename() #获得选择好的文件的路径
return Filepath #返回文件路径
print("请选择目标Excel总表")
target_link=getfile()
#target_link="C:\\Users\\lorencecheng\\Desktop\\Test\\2020.xlsx" #目标汇总文件的路径
df=pd.read_excel(str(target_link),sheet_name="增持和户数") #读取汇总文件的股票代码
newdata=df.T
newdata.index.name="Date"
newdata=newdata.reset_index()
startdate=input("开始日期, 格式如 2020/1/15: ")
endate=input("结束日期, 格式如 2020/1/18: ")
startdate=datetime.strptime(startdate,'%Y/%m/%d')
endate=datetime.strptime(endate,'%Y/%m/%d')
syear = (int(startdate.strftime('%Y')))
smonth = (int(startdate.strftime('%m')))
sday = (int(startdate.strftime('%d')))
eyear = (int(endate.strftime('%Y')))
emonth = (int(endate.strftime('%m')))
eday = (int(endate.strftime('%d')))
rangeData=newdata[(newdata["Date"]>=datetime(syear,smonth,sday)) & (newdata["Date"]<datetime(eyear,emonth,eday+1))]
list1=[]
try:
round=1
for r in range(1,(rangeData.shape[0]),2):
for c in range(1,(rangeData.shape[1])):
result=str(rangeData.iloc[[r],[c]].values)
result=result.replace("[[","")
result=result.replace("]]","")
result=result.strip("'")
list1.append(result)
except:
pass
output = {}
for i in set(list1):
output[i] = list1.count(i)
#for key,value in output.items():
#print(key+": "+str(value))
newdata=pd.DataFrame(list(output.items())) #把字典赋予一个新的表单
newdata.columns=["名字","次数"]
newdata.sort_values(by=['次数'],ascending=False)
try:
book = load_workbook(target_link)
writer = pd.ExcelWriter(target_link, engine='openpyxl')
writer.book = book
writer.sheets = dict((ws.title, ws) for ws in book.worksheets)
ws=book["统计结果"]
newdata.to_excel(writer, "统计结果", startcol=0,startrow=0,index=None,header=None)
writer.save()
print("统计结束，请看回Excel总表中的统计数据")
time.sleep(20)
except:
print("统计结果保存失败，请关闭Excel总表后再次尝试")
time.sleep(20)
pass
写代码的过程，很有挑战性。各种网上查资料，翻翻书。也经常骂自己笨。但是当千辛万苦，消除bug得出想要的结果后，那是种快乐。
好好继续加油。
