问题标签 [dataloader]

我正在尝试使用来自 2 个不同数据集的 2 个数据加载器来训练我的模型。

我找到了如何通过使用来设置它，cycle() and zip()因为我的数据集与这里的长度不同：如何使用 pytorch 同时迭代两个数据加载器？

我试图通过设置num_workers=0、减小批量大小、使用pinned_memory=False和...来解决这个问题shuffle=False……但都没有奏效……我有 256GB 的 RAM 和 4 个 NVIDIA TESLA V100 GPU。

我试图通过不同时训练 2 个数据加载器而是单独训练来运行它，并且它起作用了。但是，对于我的项目，我需要使用 2 个数据集进行这种并行训练......

我正在 Pytorch 中测试 MNIST 数据集，在我对 X 数据应用转换后，DataLoader 似乎将所有值置于原始顺序之外，可能会打乱训练步骤。

我的转换是将所有值除以 255。应该注意到转换本身不会改变位置，如第一个散点图所示。但是在将数据传递给 DataLoader 并将其检索回来之后，它们就出现了故障。如果我不进行任何转换，一切都很好（未显示）。before、after1（除以 255/DataLoader 之前）和after2（除以 255/DataLoader 之后）（也未显示）之间的值分布相同，只是顺序似乎受到影响。

我知道这可能不是处理这些数据的最佳方法（transforms.Normalize应该解决它），但我真的很想了解正在发生的事情。

谢谢！

我正在做一个 CNN 网络模型，它获取位于目录“images”中的图像，并且每个图像都位于该目录内的一个名为图像 ID 的目录中（例如图像 1 位于：图像/1/1.png)。

当我训练模型时，在 epoch 23 并且总是在 taht epoch 出现以下错误：

纪元：23 39% 136/350 [00:32<00:37, 5.67it/s, 准确度=0.221, 损失=1.97]

Traceback（最近一次调用最后一次）：文件 dataloader.py 第 560 行，在下一个 File dataloader.py 第 560 行，在 File 第 55 行，在 getitem File Image.py 第 2543 行，打开

OSError: [Errno 24] 打开的文件太多：C:\Users\...\images\1296 /1296.png

进程以退出代码 1 结束

我已经使用 cv2、matplotlib 等不同的库进行了证明...打开图像，我使用命令“with Image.open(img_path) as im:”来确保图像在拍摄后关闭但它总是在同一时期引发相同的错误。我还包括：

在代码中，但错误继续出现在同一时期。知道如何解决吗？也许是Windows问题...？

我正在尝试与 Mongoose 一起构建 DataLoader 的以下用例：

加载多个采购订单时，我面临以下问题：

1. 在 DataLoader 的 ids 参数中多次调用单个 customer_id。5cee853eae92f6021f297f45因此，在连续调用中，对我的加载程序的多个请求都调用了一个示例 id 。这表明缓存无法正常工作。

2. 我在处理读取结果时发现的变量总是设置为 false，即使比较正确的 id。

运行此代码时出现错误

这应该运行良好。

有人知道如何解决这个问题吗？请帮我

我查看了本教程，但无法找到一种方法来实际使用我的 DataLoader 来训练 ANN。当迭代我的 DataLoader 时，会弹出一个 cmd 提示并立即自行关闭，之后什么也没有发生。我的原始数据都是 np.arrays。

我尝试了很多次，并瞥见了命令提示符，上面写着类似

“在 vertica 数据库中加载数据的最快方法是什么？如果我有 100 GB 的数据，我需要以快速有效的方式将这些数据加载到 vertica 表中。”

使用 pytorch 数据加载器将数据加载到数据集中。出现错误无法导入名称“read_data_sets”

尝试搜索类似问题的结果。如果对文件而不是模块存在混淆，并且在您的文件中找不到 read_data_sets 我该如何更改以修复？

有一个模型和训练类来运行它。train 中指定的参数。运行火车应该加载数据并运行模型

我正在尝试使用以下教程作为指南将自动编码器应用于 Pytorch 中的自定义数据集。

https://pytorch.org/tutorials/beginner/data_loading_tutorial.html

我的数据集由图像和与这些图像关联的值组成。

我在尝试训练模型时遇到了问题，因为我创建的数据集中的项目就像字典一样，而模型需要张量。

对于数据加载器中的项目：

我可以从数据集字典转换为张量，还是有更好的方法来解决这个问题？

或者，如果我尝试枚举数据加载器本身，我会收到以下错误。

我有一个包含不同类型数据的 CSV 文件。例如：有些列是分类的（例如城市名称） 有些是数字的（例如产品的价格）

我想使用 Python 3 读取数据文件，使所有分类数据都被 1-hot 编码，而数字数据被简单地编码为标量值。

像这样的东西：

但在这里我也想对“城市”列进行一次热编码。

numpy/pandas/scikit 中是否有任何数据加载器/预处理器可以帮助读取 csv 以及对某些列进行 1-hot 编码？