7

我正在编写一个 linux 设备驱动程序，以允许 FPGA（当前通过 PCI express 连接到 PC）将 DMA 数据直接发送到 CPU RAM。这需要在没有任何交互的情况下发生，并且用户空间需要访问数据。一些细节： - 运行 64 位 Fedora 14 - 系统有 8GB 的​​ RAM - FPGA (Cyclone IV) 在 PCIe 卡上

为了实现这一点，我执行了以下操作： - 使用 memmap 6GB$2GB 在 grub 中保留上层 2GB RAM（如果我添加 mem=2GB，则不会启动）。我可以看到 /proc/meminfo 中保留了上层 2GB 的 RAM - 映射 BAR0 以允许读取和写入 FPGA 寄存器（这非常有效） - 在我的驱动程序中使用 remap_pfn_range() 实现了一个 mmap 函数 - 使用 ioremap 来获取缓冲区的虚拟地址 - 添加 ioctl 调用（用于测试）以将数据写入缓冲区 - 通过调用 ioctl 将数据写入缓冲区来测试 mmap，并验证数据是否在来自用户空间的缓冲区中

我面临的问题是当 FPGA 开始将数据 DMA 到我提供的缓冲区地址时。我经常收到 PTE 错误（来自 DMAR :) 或使用下面的代码我收到以下错误： DMAR：[DMA 写入] 请求设备 [01：00.0] 故障地址 186dc5000
DMAR：[故障原因 01] 根条目中的当前位是清除 DRHD：处理故障状态 reg 3

根据来自 FPGA 的 DMA，第一行中的地址每次递增 0x1000

这是我的 init() 代码：

#define IMG_BUF_OFFSET     0x180000000UL // Location in RAM (6GB)
#define IMG_BUF_SIZE       0x80000000UL  // Size of the Buffer (2GB)

#define pci_dma_h(addr) ((addr >> 16) >> 16)
#define pci_dma_l(addr) (addr & 0xffffffffUL)

if((pdev = pci_get_device(FPGA_VEN_ID, FPGA_DEV_ID, NULL)))
{
    printk("FPGA Found on the PCIe Bus\n");

    //  Enable the device 
    if(pci_enable_device(pdev))
    {
        printk("Failed to enable PCI device\n");
        return(-1);
    }
    //  Enable bus master
    pci_set_master(pdev);

    pci_read_config_word(pdev, PCI_VENDOR_ID, &id);
    printk("Vendor id: %x\n", id);
    pci_read_config_word(pdev, PCI_DEVICE_ID, &id);
    printk("Device id: %x\n", id);
    pci_read_config_word(pdev, PCI_STATUS, &id);
    printk("Device Status: %x\n", id);
    pci_read_config_dword(pdev, PCI_COMMAND, &temp);
    printk("Command Register : : %x\n", temp);
    printk("Resources Allocated :\n");
    pci_read_config_dword(pdev, PCI_BASE_ADDRESS_0, &temp);
    printk("BAR0 : %x\n", temp);

  // Get the starting address of BAR0
  bar0_ptr = (unsigned int*)pcim_iomap(pdev, 0, FPGA_CONFIG_SIZE);
  if(!bar0_ptr)
  {
     printk("Error mapping Bar0\n");
     return -1;
  }
  printk("Remapped BAR0\n");

  // Set DMA Masking
  if(!pci_set_dma_mask(pdev, DMA_BIT_MASK(64))) 
  {
     pci_set_consistent_dma_mask(pdev, DMA_BIT_MASK(64));
     printk("Device setup for 64bit DMA\n");
  }
  else if(!pci_set_dma_mask(pdev, DMA_BIT_MASK(32)))
  {
     pci_set_consistent_dma_mask(pdev, DMA_BIT_MASK(32));
     printk("Device setup for 32bit DMA\n");
  }
  else
  {
     printk(KERN_WARNING"No suitable DMA available.\n");
     return -1;
  }

  // Get a pointer to reserved lower RAM in kernel address space (virtual address)
  virt_addr = ioremap(IMG_BUF_OFFSET, IMG_BUF_SIZE);
  kernel_image_buffer_ptr = (unsigned char*)virt_addr;
  memset(kernel_image_buffer_ptr, 0, IMG_BUF_SIZE);
  printk("Remapped image buffer: 0x%p\n", (void*)virt_addr);

}

这是我的 mmap 代码：

unsigned long image_buffer;
unsigned int  low;
unsigned int  high;

if(remap_pfn_range(vma, vma->vm_start, vma->vm_pgoff,
                   vma->vm_end - vma->vm_start,
                   vma->vm_page_prot))
{
   return(-EAGAIN);
}

image_buffer = (vma->vm_pgoff << PAGE_SHIFT);

if(0 > check_mem_region(IMG_BUF_OFFSET, IMG_BUF_SIZE))
{
   printk("Failed to check region...memory in use\n");
   return -1;
}

request_mem_region(IMG_BUF_OFFSET, IMG_BUF_SIZE, DRV_NAME);

// Get the bus address from the virtual address above
//dma_page   = virt_to_page(addr);
//dma_offset = ((unsigned long)addr & ~PAGE_MASK);
//dma_addr   = pci_map_page(pdev, dma_page, dma_offset, IMG_BUF_SIZE, PCI_DMA_FROMDEVICE);    
//dma_addr = pci_map_single(pdev, image_buffer, IMG_BUF_SIZE, PCI_DMA_FROMDEVICE);   
//dma_addr = IMG_BUF_OFFSET;
//printk("DMA Address: 0x%p\n", (void*)dma_addr);

// Write start or image buffer address to the FPGA
low  = pci_dma_l(image_buffer);
low &= 0xfffffffc;
high = pci_dma_h(image_buffer);
if(high != 0)
   low |= 0x00000001;

*(bar0_ptr + (17024/4)) = 0;

//printk("DMA Address LOW : 0x%x\n", cpu_to_le32(low));
//printk("DMA Address HIGH: 0x%x\n", cpu_to_le32(high));
*(bar0_ptr + (4096/4))  = cpu_to_le32(low); //2147483649; 
*(bar0_ptr + (4100/4))  = cpu_to_le32(high); 
*(bar0_ptr + (17052/4)) = cpu_to_le32(low & 0xfffffffe);//2147483648;

printk("Process Read Command: Addr:0x%x Ret:0x%x\n", 4096, *(bar0_ptr + (4096/4)));
printk("Process Read Command: Addr:0x%x Ret:0x%x\n", 4100, *(bar0_ptr + (4100/4)));
printk("Process Read Command: Addr:0x%x Ret:0x%x\n", 17052, *(bar0_ptr + (17052/4)));
return(0);

感谢您提供任何帮助。

4

2 回答 2

5

您是否控制自己编写 TLP 数据包的 RTL 代码，或者您能否命名您正在使用的 DMA 引擎和 PCIe BFM（总线功能模型）？你的数据包在模拟器中是什么样子的？大多数体面的 BFM 应该捕获它，而不是让您在部署后使用 PCIe 硬件捕获系统找到它。

要针对上 2GB RAM，您需要从设备发送 2DW（64 位）地址。您的 Fmt/Type 中的位是否设置为执行此操作？错误地址看起来像一个被屏蔽的 32 位总线地址，所以这个级别的某些东西可能是不正确的。还要记住，因为 PCIe 是大端的，所以在将目标地址写入 PCIe 设备端点时要小心。如果 Fmt 不正确，您可能会将目标地址的较低字节放入有效负载中——同样，一个不错的 BFM 应该会发现由此产生的数据包长度不匹配。

如果你有一个最近的主板/现代 CPU，PCIe 端点应该执行 PCIe AER（高级错误报告），所以如果运行最近的 Centos/RHEL 6.3，你应该得到一个dmesg端点故障报告。这非常有用，因为报告将数据包的前几个 DW 捕获到特殊捕获寄存器，因此您可以查看收到的 TLP。

在您的内核驱动程序中，我看到您设置了 DMA 掩码，这还不够，因为您尚未对 mmu 进行编程以允许从设备写入页面。查看的实现，pci_alloc_consistent()看看你应该调用什么来实现这一点。

于 2012-07-31T09:53:31.600 回答
2

如果您仍在寻找原因，那么它是这样的：您的内核默认启用了 DMA_REMAPPING 标志，因此 IOMMU 抛出上述错误，因为 IOMMU 上下文/域条目没有为您的设备编程。

您可以尝试在内核命令行中使用 intel_iommu=off 或将 IOMMU 置于设备的旁路模式。问候，萨米尔

于 2013-02-18T13:13:48.443 回答