首页 文章

直接从文件读取到BufReader 's or Cursor'的底层缓冲区

提问于
浏览
1

我想弄清楚Rust中的一些基本内容 .

我想创建一个从文件中读取512个字节的工具,并将这些字节复制到另一个文件中 . 然后从输入文件中取出接下来的8个字节并跳过它们 . 然后从输入文件中取下一个512字节,然后将它们复制到输出文件,然后跳过8个字节等...

我需要这个工具很快,所以我不能每512字节执行一次I / O调用 . 我想我首先需要读取几兆字节的输入文件,然后通过有选择地将其复制到另一个内存块来删除内存中不需要的8字节块,然后调用I / O写入以转储更大的内存块一旦 .

所以,我想做这样的事情(伪代码):

let buffer = buffer of 'u8' of size 4MB;
let buffer_out = buffer of 'u8' of size 4MB;

// both buffers above take 8MB of memory

let input_stream = InputStream(buffer);
let output_stream = OutputStream(buffer_out);

for(every 4MB block in the input file) {
    input.read(buffer); // read the 4MB block into 'buffer'
    input_stream.seek(0); // reset the input stream's cursor to offset 0

    for(every 520 byte inside the 4MB block in 'buffer') {
        output_stream.write(input_stream.read(512)); // copy important 512 bytes
        input_stream.read(8);                        // skip superfluous 8 bytes
    }

    output.write(buffer_out);
}

我遇到的问题是我正在尝试使用 Cursor 对象来实现对两个缓冲区的流式访问 . 例如,我正在堆上分配缓冲区,如下所示:

let mut buf: Box<[u8; BUF_SIZE]> = Box::new([0; BUF_SIZE]);

然后我创建一个Cursor以流模式访问此数组:

let mut rd_cursor: Cursor<&[u8]> = Cursor::new(buf.as_slice());

但是,我现在不知道如何从输入文件中读取数据 . CursorCursor 使用,因此我无法访问它 . 在C中,我只是将数据读取到 buf 并完成它 . 并且 Cursor 似乎没有实现 BufReader.read() 可以直接使用的任何东西,我用它来从输入文件中读取数据 .

也许我可以通过创建另一个缓冲区,从'input'读取数据到临时缓冲区,从临时缓冲区到'buf'通过Cursor来实现它,但这会导致内存不断重新复制,我想避免 .

我可以看到 Cursor 中有一个 fill_buf 函数,但它似乎只返回对底层缓冲区的只读引用,所以我可以't modify the buffer, thus it'对我的情况没用 .

我也尝试使用 BufReader 而不是 Cursor . 这是我的第二次尝试:

let mut rd_cursor: BufReader<&[u8]> = BufReader::new(&*buf);

BufReader<R> 包含 get_mut 返回 R ,所以我认为它应该在我的情况下返回 &[u8] ,这听起来是件好事 . 但是通过使用 &[u8]get_mut 抱怨我需要传递一个可变的东西为 R . 所以我改变它是这样的:

let mut rd_cursor: BufReader<&mut [u8]> = BufReader::new(&mut *buf);

但鲁斯特不会让我:

src\main.rs|88 col 47| 88:61 error: the trait `std::io::Read` is not implemented for the type `[u8]` [E0277]
|| src\main.rs:88     let mut rd_cursor: BufReader<&mut [u8]> = BufReader::new(&mut *buf);

任何人都可以打我的头脑来解决我对这里发生的事情的理解吗?

1 回答

  • 3

    BufReader 已经缓冲读取 . 引用文档:

    包装读取和缓冲输入从而直接使用Read实例可能效率过低 . 例如,每次调用TcpStream都会导致系统调用 . BufReader对底层Read执行大量不频繁的读取,并维护结果的内存缓冲区 .

    您可以简单地将容量设置为几兆字节,然后处理512字节的8字节读取周期 . BufReader 只会在用完缓冲区时进行实际的系统调用 .


    以下错误

    错误:类型[u8]没有实现特性std :: io :: Read [E0277]

    是因为生锈不知道你想要多少字节 . [u8] 是一个未大小的数组 . 我不确定你是否可以做 &mut [u8, BUF_SIZE] 但是你需要这些东西

相关问题