7

我必须编写 C 代码来读取大文件。代码如下：

int read_from_file_open(char *filename,long size)
{
    long read1=0;
    int result=1;
    int fd;
    int check=0;
    long *buffer=(long*) malloc(size * sizeof(int));
    fd = open(filename, O_RDONLY|O_LARGEFILE);
    if (fd == -1)
    {
       printf("\nFile Open Unsuccessful\n");
       exit (0);;
    }
    long chunk=0;
    lseek(fd,0,SEEK_SET);
    printf("\nCurrent Position%d\n",lseek(fd,size,SEEK_SET));
    while ( chunk < size )
    {
        printf ("the size of chunk read is  %d\n",chunk);
        if ( read(fd,buffer,1048576) == -1 )
        {
            result=0;
        }
        if (result == 0)
        {
            printf("\nRead Unsuccessful\n");
            close(fd);
            return(result);
        }

        chunk=chunk+1048576;
        lseek(fd,chunk,SEEK_SET);
        free(buffer);
    }

    printf("\nRead Successful\n");

    close(fd);
    return(result);
}

我这里面临的问题是，只要传递的参数（大小参数）小于264000000字节，似乎就可以读取。每个周期我都在增加块变量的大小。

当我通过264000000字节或更多时，读取失败，即：根据检查使用读取返回-1。

谁能指出我为什么会这样？我在正常模式下使用 cc 进行编译，而不是使用 DD64。

4

3 回答 3

10

首先，为什么你需要lseek()在你的周期？read()将使光标在文件中前进读取的字节数。

并且，对于主题：long 和 chunk 的最大值分别为2147483647，任何大于该值的数字实际上都将变为负数。

您想使用off_t声明 chunk:off_t chunk和 size as size_t。lseek()这就是失败的主要原因。

而且，再一次，正如其他人所注意到的那样，您不希望free()在循环内部缓冲。

另请注意，您将覆盖已读取的数据。此外，read()不一定会像您要求的那样读取，因此最好按实际读取的字节数而不是您要读取的字节数来推进块。

考虑到一切，正确的代码应该看起来像这样：

// Edited: note comments after the code
#ifndef O_LARGEFILE
#define O_LARGEFILE 0
#endif

int read_from_file_open(char *filename,size_t size)
{
int fd;
long *buffer=(long*) malloc(size * sizeof(long));
fd = open(filename, O_RDONLY|O_LARGEFILE);
   if (fd == -1)
    {
       printf("\nFile Open Unsuccessful\n");
       exit (0);;
    }
off_t chunk=0;
lseek(fd,0,SEEK_SET);
printf("\nCurrent Position%d\n",lseek(fd,size,SEEK_SET));
while ( chunk < size )
  {
   printf ("the size of chunk read is  %d\n",chunk);
   size_t readnow;
   readnow=read(fd,((char *)buffer)+chunk,1048576);
   if (readnow < 0 )
     {
        printf("\nRead Unsuccessful\n");
        free (buffer);
        close (fd);
        return 0;
     }

   chunk=chunk+readnow;
  }

printf("\nRead Successful\n");

free(buffer);
close(fd);
return 1;

}

我还冒昧地删除了结果变量和所有相关逻辑，因为我相信它可以被简化。

编辑：我注意到某些系统（最值得注意的是，BSD）没有O_LARGEFILE，因为那里不需要它。因此，我在开头添加了一个#ifdef，这将使代码更具可移植性。

于 2012-08-03T08:57:20.187 回答
2

lseek 函数可能难以支持大文件大小。尝试使用lseek64

请查看链接以查看使用 lseek64 函数时需要定义的相关宏。

于 2012-08-03T07:07:45.310 回答
0

如果是 32 位机器，读取大于 4gb 的文件会出现问题。因此，如果您使用 gcc 编译器，请尝试使用宏-D_LARGEFILE_SOURCE=1和-D_FILE_OFFSET_BITS=64.

也请检查此链接

如果您使用任何其他编译器，请检查类似类型的编译器选项。

于 2012-08-03T09:24:31.320 回答