首页 文章

pandas read_csv和使用usecols过滤列

提问于
浏览 次
60

我有一个csv文件，当我使用 usecols 过滤列并使用多个索引时， pandas.read_csv 没有正确使用 .

import pandas as pd
csv = r"""dummy,date,loc,x
   bar,20090101,a,1
   bar,20090102,a,3
   bar,20090103,a,5
   bar,20090101,b,1
   bar,20090102,b,3
   bar,20090103,b,5"""

f = open('foo.csv', 'w')
f.write(csv)
f.close()

df1 = pd.read_csv('foo.csv',
        header=0,
        names=["dummy", "date", "loc", "x"], 
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"])
print df1

# Ignore the dummy columns
df2 = pd.read_csv('foo.csv', 
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"], # <----------- Changed
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
print df2

我希望df1和df2应该是相同的，除了丢失的虚拟列，但列标记错误 . 此日期也被解析为日期 .

In [118]: %run test.py
               dummy  x
date       loc
2009-01-01 a     bar  1
2009-01-02 a     bar  3
2009-01-03 a     bar  5
2009-01-01 b     bar  1
2009-01-02 b     bar  3
2009-01-03 b     bar  5
              date
date loc
a    1    20090101
     3    20090102
     5    20090103
b    1    20090101
     3    20090102
     5    20090103

使用列号而不是名称会给我带来同样的问题 . 我可以通过在read_csv步骤之后删除虚拟列来解决此问题，但我正在尝试了解出现了什么问题 . 我正在使用熊猫0.10.1 .

编辑：修复错误的 Headers 用法 .

python pandas csv csv-import

4 回答

  • -3

    这段代码实现了你想要的东西 - 也是它的奇怪和肯定的错误：

    我发现它适用于：

    a）指定 index_col rel . 你真正使用的列数 - 所以在这个例子中它的三列，而不是四列（你放弃 dummy 并从那时起开始计数）

    b） parse_dates 相同

    c）因为显而易见的原因而不是 usecols ;）

    d）在这里我调整了 names 以反映这种行为

    import pandas as pd
from StringIO import StringIO

csv = """dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5
"""

df = pd.read_csv(StringIO(csv),
        index_col=[0,1],
        usecols=[1,2,3], 
        parse_dates=[0],
        header=0,
        names=["date", "loc", "", "x"])

print df

    打印

    x
date       loc   
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5
    回复于
  • 67

    首先导入csv并使用csv.DictReader，它易于处理...

    回复于
  • 8

    @chip的答案完全忽略了两个关键字参数的要点 .

    仅当没有 Headers 并且您希望使用列名而不是整数索引指定其他参数时，才需要

    • names .

    • usecols 应该在将整个DataFrame读入内存之前提供过滤器;如果使用得当，读取后永远不需要删除列 .

    这个解决方案纠正了这些奇怪之处：

    import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        header=0,
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"],
        parse_dates=["date"])

    这给了我们：

    x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5
    回复于
  • 17

    如果您的csv文件包含额外数据，则导入后DataFrame中的列可以是deleted .

    import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
del df['dummy']

    这给了我们：

    x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5
    回复于

相关问题