问题标签 [dataloader]

我正在尝试在 Pytorch 中运行以下代码：

但我收到以下错误。我的 train_x 和 train_y 数据存储在 2 个单独的 .hdf5 文件中，当我在训练时尝试读取它们时，会弹出此错误。请任何人都可以告诉必须进行哪些更改。

我收到上面显示的错误。我是 PyTorch 的新手，所以请你建议可以做什么？

我最近正在研究这个https://www.kaggle.com/gti-upm/leapgestrecog数据集。它是一个手势数据集，我正在尝试制作一个分类器。由于图像在不同类型的文件夹中可用，我制作了我的数据加载器。这里是

我从这个数据集加载器获得的标签有问题。由于我创建了一个模型，该模型采用 10 个类别的 n 批数据，因此在损失计算期间，我需要我的标签大小为（n，10）。我不知道该怎么办。这是我的网络设计：

如果 y 是图像的标签。为了训练我们的网络，我们用 y 和输出提供损失函数。但是我们得到的输出大小是 (64,10) ，所以我需要有关数据加载器的label帮助

目前，我有一个预训练模型，它使用 DataLoader 读取一批图像来训练模型。

当图像从队列中到达时，我想对图像进行处理（做出预测）。它应该类似于读取单个图像并运行模型以对其进行预测的代码。大致如下：

我想知道您是否可以指导我如何执行此操作并在 DataLoader 中应用相同的转换。

我已经使用 PHP 和 mysql 的图形创建了一个基本的 api。当我使用邮递员进行火灾查询时。我是新的 grapql

{"query": "query { getPeople{name,pet{isDog,sound}} }" } 然后出现错误

但这个查询工作正常 {"query": "query { getPeople{name} }" } 任何人解释是什么问题？架构文件

我的终点代码

解析器.php

使用 Overblog\DataLoader\DataLoader；

架构.php

我对 data-loader 真正感兴趣的是每个请求的缓存。例如说我的 graphql 查询需要调用 getUser("id1") 3x。我想要一些东西来重复那个电话。

然而，似乎使用数据加载器我需要将一组键传递到我的批处理函数中，并且多个请求将被批处理到一个 api 调用中。

这让我做了一些我不喜欢的假设：

1.）我正在调用的每个服务都有一个批处理 api（我处理的一些服务没有）。

2.) 如果多个调用被批处理成 1 个 api 调用，并且该调用失败，因为其中 1 个项目未找到。通常我可以通过为该字段返回 null 来处理这个问题，这可能是一个有效的情况。但是，现在我的整个调用可能会失败，如果批处理 API 由于未找到 1 项而决定抛出错误。

无论如何都可以将数据加载器与单键请求一起使用。

我正在尝试Dataloader使用多个数据集进行自定义。

我的问题是，如果我(shuffle = True)在Dataloader选项中使用，是否可以将相同的顺序多次洗牌Dataloader？

例如：

数据加载器1：label = [5 , 4, 15, 16]

数据加载器2：label = [5 , 4, 15, 16]

我正在关注本教程：https : //pytorch.org/tutorials/beginner/data_loading_tutorial.html 为 MuNuSeg 数据集制作我自己的自定义数据加载器，但我被卡住了。数据加载器工作正常，但是当我向它添加转换时，我得到了错误。

我面临的问题类似于此处提到的问题： Error Utilizing Pytorch Transforms and Custom Dataset
根据那里的答案，我为每个内置转换进行了自定义转换，以便同时转换整个样本。以下是我的自定义转换

并按以下方式组成

这是 trainLoader 代码

要检查上述代码的工作，我正在执行以下操作

但我仍然一次又一次地遇到以下错误

这是一个非常模棱两可的错误，因为我完全不明白错误是什么

任何帮助将非常感激

我试图弄清楚这一点。

我想从我的数据库中获取我的所有用户，缓存它们，然后在发出新请求时，我想获取我缓存的那些+已创建的新请求。

至今：

我的解析器：

load 方法需要一个参数，但在这种情况下，我不想拥有一个特定的用户，我想要所有这些用户。

我不明白如何实现这一点，有人可以解释一下。

我正在使用 densenet121 从 Kaggle 数据集中进行猫/狗检测。我启用了 cuda，看起来训练非常快。但是，数据加载（或处理）似乎非常缓慢。有什么方法可以加快速度吗？我试图玩女巫批量大小，但没有提供太多帮助。我还将 num_workers 从 0 更改为一些正数。从 0 到 2 可能会减少 1/3 的加载时间，增加更多不会产生额外的影响。还有其他方法可以加快加载速度吗？

这是我的粗略代码（我专注于学习，所以它不是很有条理）：

我需要BatchSampler在 pytorch中使用 a 而不是多次DataLoader调用数据集（远程数据集，每个查询都很昂贵）。我无法理解如何将批处理采样器与任何给定的数据集一起使用。__getitem__

例如

我不明白的事情，在网上或torch docs中都没有找到任何示例，是如何使用我的get_batch函数而不是 __getitem__ 函数。
编辑：按照 Szymon Maszke 的回答，这是我尝试过的，但\_\_get_item__每次调用都会获取一个索引，而不是大小列表batch_size