首页 文章

用熊猫中的NaN替换空白值(空格)

提问于
浏览
84

我想在Pandas数据帧中找到包含空格(任意数量)的所有值,并用NaN替换这些值 .

有什么想法可以改进吗?

基本上我想转此:

A    B    C
2000-01-01 -0.532681  foo    0
2000-01-02  1.490752  bar    1
2000-01-03 -1.387326  foo    2
2000-01-04  0.814772  baz     
2000-01-05 -0.222552         4
2000-01-06 -1.176781  qux

进入:

A     B     C
2000-01-01 -0.532681   foo     0
2000-01-02  1.490752   bar     1
2000-01-03 -1.387326   foo     2
2000-01-04  0.814772   baz   NaN
2000-01-05 -0.222552   NaN     4
2000-01-06 -1.176781   qux   NaN

我已经设法用下面的代码来做,但是男人是丑陋的 . 它不是Pythonic,我敢肯定它也不是最有效的熊猫用途 . 我循环遍历每一列并对通过应用对每个值进行正则表达式搜索的函数生成的列掩码进行布尔替换,并在空格上进行匹配 .

for i in df.columns:
    df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None

只需迭代可能包含空字符串的字段,就可以对其进行优化:

if df[i].dtype == np.dtype('object')

但这并没有太大的改善

最后,这段代码将目标字符串设置为None,它与Pandas的函数如fillna()一起使用,但如果我能直接插入NaN而不是None,那么它对于完整性会很好 .

救命!

9 回答

  • 17

    Simplest of all solutions:

    df = df.replace(r'^\s+$', np.nan, regex=True)
    
  • 2

    对于一个非常快速和简单的解决方案,您可以使用 mask 方法检查单个值的相等性 .

    df.mask(df == ' ')
    
  • 0

    你也可以使用过滤器来做到这一点 .

    df = PD.DataFrame([
        [-0.532681, 'foo', 0],
        [1.490752, 'bar', 1],
        [-1.387326, 'foo', 2],
        [0.814772, 'baz', ' '],     
        [-0.222552, '   ', 4],
        [-1.176781,  'qux', '  '])
        df[df=='']='nan'
        df=df.astype(float)
    
  • 0
    print(df.isnull().sum()) # check numbers of null value in each column
    
    modifiedDf=df.fillna("NaN") # Replace empty/null values with "NaN"
    
    # modifiedDf = fd.dropna() # Remove rows with empty values
    
    print(modifiedDf.isnull().sum()) # check numbers of null value in each column
    
  • 28

    我认为 df.replace() 完成了这项工作:

    df = pd.DataFrame([
        [-0.532681, 'foo', 0],
        [1.490752, 'bar', 1],
        [-1.387326, 'foo', 2],
        [0.814772, 'baz', ' '],     
        [-0.222552, '   ', 4],
        [-1.176781,  'qux', '  '],         
    ], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))
    
    print df.replace(r'\s+', np.nan, regex=True)
    

    生产环境 :

    A    B   C
    2000-01-01 -0.532681  foo   0
    2000-01-02  1.490752  bar   1
    2000-01-03 -1.387326  foo   2
    2000-01-04  0.814772  baz NaN
    2000-01-05 -0.222552  NaN   4
    2000-01-06 -1.176781  qux NaN
    

    正如Temak指出的那样,如果您的有效数据包含空格,请使用 df.replace(r'^\s+$', np.nan, regex=True) .

  • 103

    怎么样:

    d = d.applymap(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)
    

    applymap 函数将函数应用于数据帧的每个单元格 .

  • 2

    如果您只想用空格替换空字符串和记录, correct answer is !:

    df = df.replace(r'^\s*$', np.nan, regex=True)
    

    接受的答案

    df.replace(r'\s+', np.nan, regex=True)
    

    不替换空字符串!,您可以尝试使用稍微更新的给定示例:

    df = pd.DataFrame([
        [-0.532681, 'foo', 0],
        [1.490752, 'bar', 1],
        [-1.387326, 'fo o', 2],
        [0.814772, 'baz', ' '],     
        [-0.222552, '   ', 4],
        [-1.176781,  'qux', ''],         
    ], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))
    

    注意,'fo o'也没有被Nan替换,尽管它包含一个空格 . 进一步说明,这很简单:

    df.replace(r'', np.NaN)
    

    也不起作用 - 尝试一下 .

  • 8

    我会这样做的:

    df = df.apply(lambda x: x.str.strip()).replace('', np.nan)
    

    要么

    df = df.apply(lambda x: x.str.strip() if isinstance(x, str) else x).replace('', np.nan)
    

    您可以删除所有str,然后用 np.nan 替换空str .

  • 0

    如果要从CSV文件导出数据,可以这样简单:

    df = pd.read_csv(file_csv, na_values=' ')
    

    这将创建数据框以及将空值替换为Na

相关问题