3

我目前有以下情况，我想用它DataLoader来批处理一个 numpy 数组：

import numpy as np
import torch
import torch.utils.data as data_utils

# Create toy data
x = np.linspace(start=1, stop=10, num=10)
x = np.array([np.random.normal(size=len(x)) for i in range(100)])
print(x.shape)
# >> (100,10)

# Create DataLoader
input_as_tensor = torch.from_numpy(x).float()
dataset = data_utils.TensorDataset(input_as_tensor)
dataloader = data_utils.DataLoader(dataset,
                                   batch_size=100,
                                  )
batch = next(iter(dataloader))

print(type(batch))
# >> <class 'list'>

print(len(batch))
# >> 1

print(type(batch[0]))
# >> class 'torch.Tensor'>

我希望batch已经是torch.Tensor. 到目前为止，我像这样索引批次，batch[0]以获得张量，但我觉得这不是很漂亮，并且使代码更难阅读。

我发现它DataLoader需要一个名为collate_fn. 但是，设置data_utils.DataLoader(..., collage_fn=lambda batch: batch[0])只会将列表更改为元组(tensor([ 0.8454, ..., -0.5863]),)，其中唯一的条目是作为张量的批次。

你会帮助我找出如何优雅地将批处理转换为张量（即使这包括告诉我批量索引单个条目是可以的），这对我有很大帮助。

4

1 回答 1

1

很抱歉给我的回答带来不便。

实际上，你不必Dataset从你的张量中创建，你可以torch.Tensor直接通过它实现__getitem__and __len__，所以这就足够了：

import numpy as np
import torch
import torch.utils.data as data_utils

# Create toy data
x = np.linspace(start=1, stop=10, num=10)
x = np.array([np.random.normal(size=len(x)) for i in range(100)])

# Create DataLoader
dataset = torch.from_numpy(x).float()
dataloader = data_utils.DataLoader(dataset, batch_size=100)
batch = next(iter(dataloader))
于 2019-10-29T17:57:35.800 回答