就实际的 I/O 而言,我以各种形式编写了一百万次用于将数据从一个流复制到另一个流的代码是这样的。它在成功时返回 0,或者在错误时返回 -1 并设置 errno(在这种情况下,可能已经复制了任意数量的字节)。
请注意,对于复制常规文件,您可以跳过 EAGAIN 内容,因为常规文件总是阻塞 I/O。但不可避免地,如果您编写此代码,有人会在其他类型的文件描述符上使用它,因此将其视为免费赠品。
GNUcp
做了一个特定于文件的优化,我在这里没有打扰,对于 0 字节的长块,而不是写你只是通过寻找结尾来扩展输出文件。
void block(int fd, int event) {
pollfd topoll;
topoll.fd = fd;
topoll.events = event;
poll(&topoll, 1, -1);
// no need to check errors - if the stream is bust then the
// next read/write will tell us
}
int copy_data_buffer(int fdin, int fdout, void *buf, size_t bufsize) {
for(;;) {
void *pos;
// read data to buffer
ssize_t bytestowrite = read(fdin, buf, bufsize);
if (bytestowrite == 0) break; // end of input
if (bytestowrite == -1) {
if (errno == EINTR) continue; // signal handled
if (errno == EAGAIN) {
block(fdin, POLLIN);
continue;
}
return -1; // error
}
// write data from buffer
pos = buf;
while (bytestowrite > 0) {
ssize_t bytes_written = write(fdout, pos, bytestowrite);
if (bytes_written == -1) {
if (errno == EINTR) continue; // signal handled
if (errno == EAGAIN) {
block(fdout, POLLOUT);
continue;
}
return -1; // error
}
bytestowrite -= bytes_written;
pos += bytes_written;
}
}
return 0; // success
}
// Default value. I think it will get close to maximum speed on most
// systems, short of using mmap etc. But porters / integrators
// might want to set it smaller, if the system is very memory
// constrained and they don't want this routine to starve
// concurrent ops of memory. And they might want to set it larger
// if I'm completely wrong and larger buffers improve performance.
// It's worth trying several MB at least once, although with huge
// allocations you have to watch for the linux
// "crash on access instead of returning 0" behaviour for failed malloc.
#ifndef FILECOPY_BUFFER_SIZE
#define FILECOPY_BUFFER_SIZE (64*1024)
#endif
int copy_data(int fdin, int fdout) {
// optional exercise for reader: take the file size as a parameter,
// and don't use a buffer any bigger than that. This prevents
// memory-hogging if FILECOPY_BUFFER_SIZE is very large and the file
// is small.
for (size_t bufsize = FILECOPY_BUFFER_SIZE; bufsize >= 256; bufsize /= 2) {
void *buffer = malloc(bufsize);
if (buffer != NULL) {
int result = copy_data_buffer(fdin, fdout, buffer, bufsize);
free(buffer);
return result;
}
}
// could use a stack buffer here instead of failing, if desired.
// 128 bytes ought to fit on any stack worth having, but again
// this could be made configurable.
return -1; // errno is ENOMEM
}
打开输入文件:
int fdin = open(infile, O_RDONLY|O_BINARY, 0);
if (fdin == -1) return -1;
打开输出文件很棘手。作为基础,您希望:
int fdout = open(outfile, O_WRONLY|O_BINARY|O_CREAT|O_TRUNC, 0x1ff);
if (fdout == -1) {
close(fdin);
return -1;
}
但也有混杂因素:
- 当文件相同时,您需要特殊情况,我不记得如何便携。
- 如果输出文件名是一个目录,您可能希望将该文件复制到该目录中。
- 如果输出文件已经存在(使用 O_EXCL 打开以确定这一点并检查 EEXIST 是否有错误),您可能想要做一些不同的事情,就像
cp -i
这样。
- 您可能希望输出文件的权限反映输入文件的权限。
- 您可能希望复制其他特定于平台的元数据。
- 您可能希望也可能不希望在出错时取消链接输出文件。
显然,所有这些问题的答案都可能是“做同样的事情cp
”。在这种情况下,原始问题的答案是“忽略我或其他任何人所说的一切,并使用”的来源cp
。
顺便说一句,获取文件系统的集群大小几乎没有用。在超过磁盘块的大小之后,您几乎总是会看到速度随着缓冲区大小的增加而增加。