折腾
数据分析用惯了R,感觉pandas用起来就有点反人类了。今天用python的pandas处理数据时两个数据框硬是合并不起来。
我有两个数据框,列名是未知的,只能知道索引,以及哪两个索引是用做主键合并的。(别问我为啥列名未知,因为我是开发工具)。
思路是这样的,找到主键列,重命名,再合并。
df1.columns.values[args.marker1-1]="markerID"
df2.columns.values[args.marker2-1]="markerID"
pd.merge(df1,df2,on='markerID')
但结果就是无论如何也合并不了。报错KeyError:'markerID'
。
网上查了下是说不能直接用columns.values
赋值,要分开。于是:
colnames_df1 = df1.columns
colnames_df1[args.marker1-1] = "markerID"
df1.columns = colnames_df1
colnames_df2 = df2.columns
colnames_df2[args.marker1-1] = "markerID"
df2.columns = colnames_df2
pd.merge(df1,df2,on='markerID')
实际上并没有什么区别。TypeError: Index does not support mutable operations
把数据框的列名全部print出来,看起来是正常的,为什么就合并不了?
用很粗暴的方法:
pd.merge(df1,df2,left_index=True,right_index=True)
对于大部分数据可以,但有些数据是不行的,而且不报错,结果是错的,有很大风险。
解决方法
最后在网上又查了一圈,终于找到了答案。
原因:
两个数据框的主键名看起来一样,实际上可能不同,因为可能含有空格。怎么来的?无解。
解决方法就是去除列名中可能存在的空格。
方法一:
df1.columns = df1.columns.str.strip()
df2.columns=df2.columns.str.strip()
方法二:
在数据读入时去掉。
pd.read_csv(file,sep='\s*,\s*')
# delimiter includes x*whitespace before and after
对应到我的数据就是:
df1.columns = df1.columns.str.strip()
df2.columns = df2.columns.str.strip()
mrkid = df1.columns.values[args.marker-1]
df1.columns.values[args.marker-1]="markerID"
mergesnp = pd.merge(df1,df2,on='markerID')
mergesnp.columns.values[args.marker-1]=mrkid
参考:https://stackoverflow.com/questions/47608112/python-pandas-merge-cant-find-column-name