3

我通过设置 download=True 通过这个 pytorch api 下载了 ImageNet 数据集。但我无法遍历数据加载器。

错误说“'DataLoader' 对象不支持索引”

trainset = torch.utils.data.DataLoader(
    datasets.ImageNet('/media/farshid/DataStore/temp/Imagenet/', split='train',
                      download=False))
trainloader = torch.utils.data.DataLoader(trainset, batch_size=1, shuffle=False, num_workers=1)

我尝试了一种简单的方法，我只是尝试运行以下命令，

trainloader[0]

在根目录中，模式是

root/  
    train/  
          n01440764/
          n01443537/ 
                   n01443537_2.jpg

官方网站上的文档没有说别的。https://pytorch.org/docs/stable/torchvision/datasets.html#imagenet

我究竟做错了什么 ？

4

3 回答 3

6

好吧，答案很简单（除了另一个答案中提到的错误）。

DataLoader没有__getitem__方法（请自行查看源代码）。

它用于对数据（或成批数据）进行迭代，而不是随机访问。如果你想访问你应该使用的特定元素torch.utils.data.Dataset，在你的情况下：

trainset = torchvision.datasets.ImageNet('/media/farshid/DataStore/temp/Imagenet/', split='train', )
trainset[0]

获得一批

如果您想获得一批，您可以对其进行迭代并在之后中断：

for batch in dataloader:
    print(batch) # or anything else you want to do
    break

DataLoader以默认或指定方式创建随机索引（请参阅samplers），因此没有__getitem__，因为它对这个对象没有意义。

你也可以继承DataLoader并创建你自己的__getitem__函数来做你想做的事情（虽然更复杂）。

完整示例

# torch.utils.data.Dataset object
trainset = datasets.ImageNet('/media/farshid/DataStore/temp/Imagenet/', split='train', download=True)
# torch.utils.data.DataLoader object
trainloader =torch.utils.data.DataLoader(trainset, batch_size=1, shuffle=False)

for batch in trainloader:
    print(batch)
    break

上面应该打印第一批里面的东西。

于 2019-07-02T10:48:46.667 回答
4

解决方案 

input_transform = standard_transforms.Compose([
    transforms.Resize((255,255)), # to Make sure all the 
    transforms.CenterCrop(224),   # imgs are at the same size 
    transforms.ToTensor()
])  


# torch.utils.data.Dataset object
trainset = datasets.ImageNet('/media/farshid/DataStore/temp/Imagenet/',
                             split='train', download=False, transform = input_transform)
# torch.utils.data.DataLoader object
trainloader =torch.utils.data.DataLoader(trainset, batch_size=2, shuffle=False)


for batch_idx, data in enumerate(trainloader, 0):
    x, y = data 
    break
于 2019-07-02T15:42:09.147 回答
1

输入数据集torch.utils.data.DataLoader()应该是 type torch.utils.data.Dataset，而不是torch.utils.data.DataLoader，这就是您在上面的代码中所做的。

所以，你上面的代码应该是：

trainset = torchvision.datasets.ImageNet('/media/farshid/DataStore/temp/Imagenet/', 
                                          split='train', 
                                          download=False)

trainloader = torch.utils.data.DataLoader(trainset, 
                                          batch_size=1, 
                                          shuffle=False, 
                                          num_workers=1)

有关更多详细信息，请在此处查看官方火炬文档。

于 2019-07-01T20:21:49.473 回答