首页 文章

由于memcpy，C ifstream :: read很慢

提问于
浏览 次
8

最近我决定优化我正在做的一些文件读取，因为正如大家所说，将大量数据读取到缓冲区然后使用它比使用大量小读取更快 . 而且我的代码现在肯定要快得多，但在进行一些分析之后，似乎memcpy占用了大量的时间 .

我的代码的要点是......

ifstream file("some huge file");
char buffer[0x1000000];
for (yada yada) {
    int size = some arbitrary size usually around a megabyte;
    file.read(buffer, size);
    //Do stuff with buffer
}

我正在使用Visual Studio 11，在对我的代码进行分析后，它说 ifstream::read() 最终调用 xsgetn() ，它从内部缓冲区复制到我的缓冲区 . 此操作占用超过80％的时间！排在第二位的是 uflow() ，它占据了10％的时间 .

有什么方法可以绕过这个复制吗？我可以以某种方式告诉 ifstream 将我需要的大小直接缓冲到我的缓冲区中吗？ C风格 FILE* 也使用这样的内部缓冲区吗？

更新：由于人们告诉我使用cstdio ...我做了一个基准测试 .

编辑：不幸的是旧的代码充满了失败（它甚至没有读取整个文件！） . 你可以在这里看到：http://pastebin.com/4dGEQ6S7

这是我的新基准：

const int MAX = 0x10000;
char buf[MAX];
string fpath = "largefile";
int main() {
    {
        clock_t start = clock();
        ifstream file(fpath, ios::binary);
        while (!file.eof()) {
            file.read(buf, MAX);
        }
        clock_t end = clock();
        cout << end-start << endl;
    }
    {
        clock_t start = clock();
        FILE* file = fopen(fpath.c_str(), "rb");
        setvbuf(file, NULL, _IOFBF, 1024);
        while (!feof(file)) {
            fread(buf, 0x1, MAX, file);
        }
        fclose(file);
        clock_t end = clock();
        cout << end-start << endl;
    }
    {
        clock_t start = clock();
        HANDLE file = CreateFile(fpath.c_str(), GENERIC_READ, FILE_SHARE_READ, NULL, OPEN_ALWAYS, NULL, NULL);
        while (true) {
            DWORD used;
            ReadFile(file, buf, MAX, &used, NULL);
            if (used < MAX) break;
        }
        CloseHandle(file);
        clock_t end = clock();
        cout << end-start << endl;
    }
    system("PAUSE");
}

时代是：
185
80
78

好吧......看起来使用C风格的fread比ifstream :: read更快 . 同样，使用Windows ReadFile只能提供一点点优势，这可以忽略不计（我查看了代码，fread基本上是ReadFile的包装器） . 看起来我毕竟会转向恐惧 .

男人写一个真正测试这个东西的基准测试是很困惑的 .

结论：使用 <cstdio> 比 <fstream> 快 . fstream较慢的原因是因为c流有自己的内部缓冲区 . 每当您进行读/写操作时，这会导致额外的复制，并且此复制会占用fstream所花费的整个额外时间 . 更令人震惊的是，所花费的额外时间比实际读取文件所花费的时间长 .

c++ performance visual-c++ fstream memcpy

3 回答

  • 5

    如果你想加速文件I / O，我建议你使用好的' <cstdio> ，因为它可以大大优于C .

    回复于
  • 3

    我可以以某种方式告诉ifstream将我需要的大小缓冲到我的缓冲区吗？

    是的，这就是pubsetbuf()的用途 .

    但是，如果您关心的是复制读取文件，请考虑内存映射，boost也有portable implementation .

    回复于
  • 1

    已经多次证明，在Linux系统上读取数据的最快方式是 mmap() . 关于Windows，我不知道 . 但是肯定没有这个缓冲 .

    fopen() ， fread() ， fwrite() （ FILE* ）稍微高一些，可能会产生一个缓冲区，而 open() ， read() ， write() 函数是低电平的，你可能拥有的唯一缓冲区来自Os内核 .

    回复于

相关问题