问题标签 [tfrecord]

我的目标是将图像分为十类。我有一个 tfrecord 文件作为输入。您可以在此处下载(30 MB)。我根据答案修改了代码：

不幸的是，我仍然有错误消息：

ValueError: Tensor Tensor("Softmax:0", shape=(10, 10), dtype=float32) 不是该图的元素。

ValueError：Fetch 参数不能解释为张量。（Tensor Tensor("Softmax:0", shape=(10, 10), dtype=float32) 不是该图的元素。）

寻求帮助！！

大家好，我正在研究我的第一个非 MNIST BS！具有深度学习的计算机视觉项目，我在输入数据管道方面面临困难。

我的问题如下：

我使用 tensorflow 框架/python

我有一个结构如下的图像文件数据集：-每个标签文件夹都包含在名为“images”的根目录中-每个图像都包含在它们相应的标签子文件夹中

总共有六类（苹果，鳄梨，香蕉，芒果，百香果，西红柿）

我想为每个标签生成 one_hot 向量，每个向量应该与相应类（标签）的文件相关联

鉴于我正在使用 tensorflow，我想将我的数据集转换为 tfrecord 格式以使用 tf.Dataset API，我正在努力创建一个数据结构，将 6 个 one_hot 向量中的每一个映射到给定数据集中的所有图像他们各自的班级。

我在 github 上看到了一些代码示例，但他们只给了我一半的解决方案，这是我迄今为止尝试过的：

我已经编写了子程序来处理图像加载和预处理步骤，我还在 github 上找到了一个用于将数据集（训练、测试、验证）转换为 tfrecord 的子程序，但我在加载文件并映射它们时遇到了困难使用 glob 模块到他们的 one_hot 向量

这是我迄今为止尝试过的

--->这个数据结构只返回来自第一个子目录的六个映射，没有按照我期望的方式工作。正如你在这里看到的：

你能指导我，或者告诉我行业中用来破解这类任务的方法吗？欢迎您的意见，Arnaud Wanet....

我想弄清楚如何使用 Google Cloud 进行批量预测。具体来说，我正在寻找对象检测，从更快的 RCNN tensorflow ckpt 到图形/保存模型。

我的问题是我需要能够为我的输入图像恢复某种 ID，可能是索引或文件名。我不完全确定如何在我的情况下执行此操作，因为此链接提到使用实例键，并且我发现的有关实例键的唯一相关示例使用 JSON 作为输入格式。由于我应该使用 TFRecords 输入我保存的模型，这似乎是一个问题。我也查阅了预测指南，但仍然感到困惑。

简而言之，是否有人对我应该编辑哪些文件（export_inference_graph.py？）以保留我的输入图像的某种索引/排序以进行批量预测有任何提示？我正在使用 Object Detection API 作为参考。谢谢！

我正在尝试读取三个不同长度的大型 tfrecord，并像这样并行读取它们：

，但 TensorFlow 不允许每个文件源使用不同的块长度：

我可以创建三个具有不同小批量大小的不同数据集，但这需要 3 倍的资源，而且这不是我的机器限制所提供的选项。

有哪些可能的解决方案？

系统信息

• 操作系统平台和发行版：CentOS 7.5.1804
• TensorFlow 安装自： pip install tensorflow-gpu
• TensorFlow 版本：tensorflow-gpu 1.8.0
• CUDA/cuDNN 版本：9.0/7.1.2
• GPU 型号和内存：GeForce GTX 1080 Ti，11264MB

• 重现的确切命令：

  python train.py --logtostderr --train_dir=./models/train --pipeline_config_path=mask_rcnn_inception_v2_coco.config

描述问题

我正在尝试在我自己的数据集上训练一个 Mask-RCNN 模型（从一个在 COCO 上训练的模型进行微调），但是一旦 shuffle 缓冲区被填满，这个过程就会被终止。

在此之前，nvidia-smi 显示内存使用量约为 10669MB/11175MB，但 GPU 使用率仅为 1%。

我尝试调整以下 train_config 设置：

对于 train_input_reader：

我相信我的问题类似于TensorFlow Object Detection API - Out of Memory但我使用的是 GPU 而不是 CPU。

我正在训练的图像相对较大（2048*2048），但是我想避免缩小尺寸，因为要检测的对象非常小。我的训练集包含 400 张图像（在 .tfrecord 文件中）。

有没有办法减少洗牌缓冲区的大小，看看这是否会减少内存需求？

追溯

我正在做一个 TensorFlow CNN。在阅读我的文件时，tf.records我不知道解码图像时适合使用哪种类型的数据。我在多个教程中看到，在进入模型之前应该进行重塑。我想知道我的做法是否正确。这是我的代码：

GTA5 包含 24966 张图像。我把它们转换成一个tfrecord文件后，大约有50G。

当我阅读这个大文件时，它似乎无法完成一个时代。我的意思是它确实输出了部分数据。但在阅读过程中，会引发以下错误。它在开始时会读取一些数据。但是在中间阶段，比如948步之后，就会报错。我怀疑是不是因为我的 tfrecord 文件太大？

有人可以给我一些建议吗？先感谢您。

我的印象是拥有预先计算的 Tfrecord 文件是提供输入函数的最有效方式。但是，我不断看到好看的文章，例如这篇文章，其中输入函数引用磁盘上的原始文件，并在现场进行解码。

1. 创建 Tfrecord 文件是否有好处，或者在输入函数内解码和准备每个样本是否同样有效（而不是让输入函数简单地解码 Tfrecord）？
2. 如上例所示，在输入函数中使用直接原始文件时，您将在哪里添加数据增强步骤？

我过去这样做的方式是，我有一个单独的脚本，给定对某些文件的引用，它将生成一个 Tfrecord 文件，其中包含数据扩充。例如，Tfrecord 中的前n幅图像是给定图像，然后对其进行随机变换等。然后输入函数简单地解码每条记录并指定批处理、混洗等。

我正在尝试将我的 Jpeg 图像集转换为 TFrecords。但是 TFrecord 文件占用的空间几乎是图像集的 5 倍。经过大量的谷歌搜索，我了解到当 JPEG 被写入 TFrecords 时，它们不再是 JPEG。但是，我还没有遇到可以理解的代码解决方案来解决这个问题。请告诉我应该在下面的代码中进行哪些更改以将 JPEG 写入 Tfrecords。

编辑：有人可以回答这个吗？！

我正在尝试读取 tfrecord 文件，但代码显示错误。首先，我将 csv 文件转换为 tfrecord 文件。我已经给出了下面的两个代码，最后一个块显示了我在读取 tfrecord 文件时遇到的错误。

******************读取.tfrecord文件**********************************

******************csv 到 tfrecord 文件****************************** *

我得到的错误是****************错误*********************