我遇到了一个问题,即使用 to_csv() 函数将pandas数据帧保存到csv文件需要将近一个小时的时间 . 我正在使用带有pandas(0.19.1)的anaconda python 2.7.12 .
import os
import glob
import pandas as pd
src_files = glob.glob(os.path.join('/my/path', "*.csv.gz"))
# 1 - Takes 2 min to read 20m records from 30 files
for file_ in sorted(src_files):
stage = pd.DataFrame()
iter_csv = pd.read_csv(file_
, sep=','
, index_col=False
, header=0
, low_memory=False
, iterator=True
, chunksize=100000
, compression='gzip'
, memory_map=True
, encoding='utf-8')
df = pd.concat([chunk for chunk in iter_csv])
stage = stage.append(df, ignore_index=True)
# 2 - Takes 55 min to write 20m records from one dataframe
stage.to_csv('output.csv'
, sep='|'
, header=True
, index=False
, chunksize=100000
, encoding='utf-8')
del stage
我已经确认硬件和内存正在运行,但这些是相当宽的表(~100列),主要是数字(十进制)数据 .
谢谢,
2 回答
您正在读取压缩文件并编写纯文本文件 . 可能是IO瓶颈 .
编写压缩文件可以加速写入10倍
此外,您可以尝试不同的块大小和压缩方法('bz2','xz') .
从'gzip'替代方案中添加我的小见解对我来说不起作用 - 尝试使用to_hdf方法 . 这大大减少了写入时间! (对于100MB文件不到一秒钟 - 在30-55秒之间执行此选项的CSV选项)