我想在Pandas数据帧中找到包含空格(任意数量)的所有值,并用NaN替换这些值 .
有什么想法可以改进吗?
基本上我想转此:
A B C
2000-01-01 -0.532681 foo 0
2000-01-02 1.490752 bar 1
2000-01-03 -1.387326 foo 2
2000-01-04 0.814772 baz
2000-01-05 -0.222552 4
2000-01-06 -1.176781 qux
进入:
A B C
2000-01-01 -0.532681 foo 0
2000-01-02 1.490752 bar 1
2000-01-03 -1.387326 foo 2
2000-01-04 0.814772 baz NaN
2000-01-05 -0.222552 NaN 4
2000-01-06 -1.176781 qux NaN
我已经设法用下面的代码来做,但是男人是丑陋的 . 它不是Pythonic,我敢肯定它也不是最有效的熊猫用途 . 我循环遍历每一列并对通过应用对每个值进行正则表达式搜索的函数生成的列掩码进行布尔替换,并在空格上进行匹配 .
for i in df.columns:
df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None
只需迭代可能包含空字符串的字段,就可以对其进行优化:
if df[i].dtype == np.dtype('object')
但这并没有太大的改善
最后,这段代码将目标字符串设置为None,它与Pandas的函数如fillna()一起使用,但如果我能直接插入NaN而不是None,那么它对于完整性会很好 .
救命!
9 回答
Simplest of all solutions:
对于一个非常快速和简单的解决方案,您可以使用
mask
方法检查单个值的相等性 .你也可以使用过滤器来做到这一点 .
我认为
df.replace()
完成了这项工作:生产环境 :
正如Temak指出的那样,如果您的有效数据包含空格,请使用
df.replace(r'^\s+$', np.nan, regex=True)
.怎么样:
applymap
函数将函数应用于数据帧的每个单元格 .如果您只想用空格替换空字符串和记录, correct answer is !:
接受的答案
不替换空字符串!,您可以尝试使用稍微更新的给定示例:
注意,'fo o'也没有被Nan替换,尽管它包含一个空格 . 进一步说明,这很简单:
也不起作用 - 尝试一下 .
我会这样做的:
要么
您可以删除所有str,然后用
np.nan
替换空str .如果要从CSV文件导出数据,可以这样简单:
这将创建数据框以及将空值替换为Na