问题标签 [custom-dataset]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
105 浏览

python - 通过 Keras 加载自定义数据集

我有一个简单的 GAN 模型(基于 Keras),用于基于 MNIST 数据集生成手写数字图像。我想使用来自 Sokoto Coventry 指纹数据集 (SOCOFing) 的原始图像数据为 Keras 创建一个类似的数据集,该数据集由 6000 个不同的黑白指纹图像样本组成,并将其应用于相同的 GAN 模型。问题是——我坚持创建和加载/处理自定义数据集。

这是我用于 MNIST 的模型中的代码:

出于实验目的,我创建了一个较小版本的 SOCOFing 数据集,其中仅包含 500 个样本。数据集生成器的代码如下:

所以现在我有一个 *.npz 文件,但不知道如何将它注入模型。请指教。

0 投票
0 回答
99 浏览

image-classification - detecron2 中的“注册”用于训练自定义数据集有什么作用?

当我阅读detectron2 网页上的“使用自定义数据集”部分时,我看到我需要注册我的数据集。网页说:

" 如果您想使用自定义数据集同时重用detectron2 的数据加载器,您需要:

注册您的数据集(即告诉detectron2 如何获取您的数据集)。

(可选)为您的数据集注册元数据。”

注册的具体作用是什么?就应该保密的数据的安全性而言,它是否可靠?当我使用它时,我的数据是否上传到其他人可以访问的地方?有没有办法不用注册就可以使用自定义数据集?

0 投票
2 回答
1786 浏览

machine-learning - Pytorch:“KeyError:在 DataLoader 工作进程 0 中捕获 KeyError。”

问题描述:

我正在尝试使用 Pytorch 自定义数据集加载图像数据。我做了一点深入研究,发现我的图像集包含 2 种形状 (512,512,3) 和 (1024,1024) 。我的假设是,由于上述原因,它会引发以下错误。

注意:该代码能够读取一些图像,但是对于其中的一些图像,它会抛出以下错误消息。这就是对图像数据做一点 EDA 的原因,发现数据集中有 2 种不同形状的图像。

Q1。如何对此类图像数据进行预处理以进行训练?

Q2。是否有任何其他原因导致我看到以下错误消息?

错误信息:

代码:

代码:train_data 是 csv 文件的 pandas 对象,包含图像 id、labelsl 信息。

0 投票
0 回答
106 浏览

pandas - Tensorflow 自定义数据集 - 将元数据作为附加输入添加到由 CNN 处理的图像输入中

我有一个有效的 CNN 模型,可以对加载了 csv 文件的自定义数据集中的图像进行分类。数据集在被洗牌后被分成训练、验证和测试数据集。现在我想通过四个包含图像信息/元数据的额外输入类来扩展图像输入。

我已经知道我应该将我的 cnn 模型分成两个分支,一个用于图像,一个用于额外输入。我的问题是,我必须如何修改我的数据输入,以便模型能够正确处理图像和附加输入?

我对在 tensorflow 中创建神经网络非常陌生。我的整个代码基本上来自这个网站。但是,没有一个主题可以解决我的代码的问题。

这是我的代码:(其他元数据称为用法、完成、高度、构造)

到目前为止,我只向数据集张量添加了额外的输入并更改了模型结构。如何将我的数据集拆分为每个模型分支input_imginput_dat以便每个模型分支都能接收到正确的输入?

我还有一个自定义测试步骤来绘制混淆矩阵。这应该如何修改?这是工作代码,仅用于图像输入:

任何帮助是极大的赞赏!!

0 投票
1 回答
66 浏览

pytorch - 在自定义数据集上使用 roboflow 对象检测 Yolov4 pytorch 模型时出现值错误

我们使用 Roboflow 进行对象检测,使用 Yolov4 Pytorch 模型为我们的自定义数据集。在训练过程中,我们收到以下错误。

0 投票
0 回答
75 浏览

tensorflow - 多输入模型错误:找不到可以处理输入的数据适配器

我正在创建一个 tensorflow 模型,该模型应该处理包含图像文件和其他分类输入的输入,两者都可以通过 csv 文件访问。首先我有这个模型,只有图像输入,但是当我用额外的元数据扩展输入时,我的model.fit.

这是我的代码:

当我想运行代码时,在 model.fit 中出现以下错误:

任何帮助是极大的赞赏!

0 投票
1 回答
68 浏览

object-detection - Yolov3 没有开始训练

我正在尝试训练由货币组成的自定义数据集。我遵循了 youtube 教程,制作了相同的文件夹结构。

我正在使用 google colab 免费的 gpu 和暗网。每次我运行数据进行训练时,它都会在几秒钟内完成,没有任何错误,最终输出显示“608 x 608 创建 6 个永久 cpu 线程”,我遵循的教程显示了数据集的训练,但我的一直卡在这条消息上。

我正在使用 yolov3 来训练我的数据集,并遵循 makefile 中更改内容的每一步。train.txt 和 test.txt 文件也保持为空。(对不起,我的英语不好)

下面附上我尝试训练模型时收到的消息的屏幕截图。

在此处输入图像描述

0 投票
2 回答
201 浏览

python - 如何将自定义转换应用于我的自定义数据集 pytorch

我在 pytorch 项目中创建了我的自定义数据集,我需要通过转换向我的数据集添加高斯噪声。我的数据集是 1 和 -1 的二维数组。我执行以下操作:

要检查结果:

什么都没发生。但自定义转换在 MyDataset 类之外运行良好:

不明白问题出在哪里,谢谢

0 投票
1 回答
755 浏览

pytorch - 为什么我的自定义数据集会出现属性错误?

我最初的数据是这样的

我的数据是带有“标题”和“标签”列的熊猫数据框。我想用这个制作一个自定义数据集。所以我制作了如下数据集。我正在研究谷歌 colab

这就是我调用数据加载器的方式

它给了

没有确切的错误信息。有谁能够帮我?

0 投票
1 回答
29 浏览

annotations - Is there a tool for labeling/annotating images using custom weights?

I´ve trained a model on YOLOv5 for detecting custom objects. Is there a tool to use those weights to label new images showing the same classes? Thanks!