我甚至从txt或HDF5格式读取文件到pandas中的数据帧时遇到一些问题,因为存储为txt并使用read_table读取的大约200 mb字符串的txt文件导致大约600 Mb的内存消耗 . 如果我将数据帧附加到HDFStore,那么该文件也大约为200 MB . 这是我如何阅读文件

datatypes=[('FIELD1','S13'),('FIELD2','S3'),('FIELD3','S31')]
df=pd.read_table('c:\\folder1\\example1.txt',sep='|',dtype=datatypes)

有没有办法在内存使用方面更有效地读取txt文件?

我正在使用pandas v 0.11.0

先感谢您