7

所以我正在使用 qemu kvm 一段时间，现在我需要通过 PCI 设备。我完成了所有必需的程序来完成这项工作：启用 iommu、modprobed vfio 模块、将设备绑定到 vfio 并检查是否确实创建了 vfio 组等......但是当我使用任何 pci 设备启动 qemu 时，我收到错误消息：

vfio：读取设备配置空间失败

我深入研究了 qemu 的代码以查看问题可能是什么，并发现问题发生在设备的预加载上。即使偏移量为 0，也会发生这种情况，并且对文件描述符进行正常读取没有问题，因为我更改了代码来测试它。检查 errno 是否因预读失败给我一个“非法搜索”错误消息。

我写了一些代码来看看这是否发生在 qemu 上下文之外（认为它可能是 qemu 代码中的某些东西干扰了设备），并且遇到了同样的问题。我还尝试使用 pread 读取一个普通文件，并且效果很好......这是我为测试它而编写的代码，我对其进行了一些分解，以便能够指出更相关的部分：

#define BUF_SIZE 4096

int main(){     
    char buf[BUF_SIZE], buf1[BUF_SIZE], buf2[BUF_SIZE];         
    int ret,group_fd, fd, fd2;  
    size_t nbytes = 4096;   
    ssize_t bytes_read;     
    int iommu1, iommu2;

    int container, group, device, i;
    struct vfio_group_status group_status = { .argsz = sizeof(group_status) };
    struct vfio_iommu_type1_info iommu_info = { .argsz = sizeof(iommu_info) };
    struct vfio_iommu_type1_dma_map dma_map = { .argsz = sizeof(dma_map) };
    struct vfio_device_info device_info = { .argsz = sizeof(device_info) };    
    container = open("/dev/vfio/vfio",O_RDWR);        

    if(ioctl(container,VFIO_GET_API_VERSION)!=VFIO_API_VERSION){
        printf("Unknown api version: %m\n");    
    }   
    group_fd = open("/dev/vfio/22",O_RDWR);     printf("Group fd = %d\n", group_fd);
    ioctl(group_fd, VFIO_GROUP_GET_STATUS, &group_status);
    if (!(group_status.flags & VFIO_GROUP_FLAGS_VIABLE)){
        printf("Group not viable\n");
        return 1;
    }   
    ret = ioctl(group_fd, VFIO_GROUP_SET_CONTAINER,&container);     
    ret = ioctl(container,VFIO_SET_IOMMU,VFIO_TYPE1_IOMMU);         
    ioctl(container, VFIO_IOMMU_GET_INFO, &iommu_info);         

    /* Allocate some space and setup a DMA mapping */            
    dma_map.vaddr = (unsigned long int) mmap(0, 1024 * 1024, PROT_READ | PROT_WRITE,MAP_PRIVATE | MAP_ANONYMOUS, 0, 0);
    dma_map.size = 1024 * 1024;
    dma_map.iova = 0; /* 1MB starting at 0x0 from device view */
    dma_map.flags = VFIO_DMA_MAP_FLAG_READ | VFIO_DMA_MAP_FLAG_WRITE;

    ioctl(container, VFIO_IOMMU_MAP_DMA, &dma_map);         
    printf("\n\nGETTING DEVICE FD\n");      
    fd = ioctl(group_fd,VFIO_GROUP_GET_DEVICE_FD,"0000:08:00.0");


    printf("Fd = %d\n",fd);     
    printf("VFIO_GROUP_GET_DEV_ID = %lu\n",VFIO_GROUP_GET_DEVICE_FD);

这个读取工作正常，给了我一个 nbytes 的 ret 代码 

    ret = read(fd,buf,nbytes);  
    if(ret<1){      
       printf("ERROR: %m \n");  
    }

此预读失败并显示 ret 代码 -1 和 errno 'Illegal seek'

    ret = pread(fd,buf,nbytes,0);

    if(ret<0){      
       printf("ERROR: %m \n");  
    }

在这里，我尝试对 sysfs 中的一个公共文件进行读取和预读，以查看预读是否失败，并且在这种情况下，读和预读都可以正常工作： 

    printf("TESTING PREAD ON A COMMON FILE\n");     

    fd2 = open("/sys/bus/pci/devices/0000:08:00.0/device",O_RDONLY);       
    ret = read(fd2,buf1,nbytes);    
    if(ret<0){
        printf("ERROR: %m\n");  
    }   
    printf("Result from read: ret = %d, content = %s\n",ret,buf1);  
    ret = pread(fd2,buf2,nbytes,2);     
    if(ret<0){
        printf("ERROR: %m\n");  #
    }   
    printf("Result from pread: ret = %d, content = %s\n",ret,buf2);         
    close(fd2);
    getchar();
    close(fd);
    close(container);   
    close(group_fd);    
    return 0; 
}

我正在使用用 uClibc 编译的通用 linux 内核 v4.7.8 用于嵌入式系统......有人知道为什么会发生这种情况吗？我现在一头雾水！！TT

更新：我在同一台机器上安装了 ubuntu 16.04（内核 v4.4.0）并重复了这些步骤，pci passthrough 工作正常，我的测试代码上的 pread 也工作得很好。所以我不确定自定义通用内核出了什么问题。

根据 arash 的建议，我尝试了 pread(fd,buf,nbytes,SEEK_CUR)，它给了我同样的“非法搜索”错误。我从 ftell 得到的偏移量在 ubuntu 和通用内核中都是0xffffffff 。

4

1 回答 1

2

我发现了问题所在，并且一直想在此处发布一段时间，以供任何可能碰壁的人使用。事实证明，uClibc 0.9.33 版的 pread 和 pwrite 函数被破坏，导致这些函数无法在大于 4G 的偏移量上工作。下面链接中的补丁为我解决了这个问题：http: //uclibc.10924.n7.nabble.com/backport-pread-pwrite-fix-for-0-9-33-branch-td11921.html

于 2017-08-25T23:05:34.913 回答