问题标签 [tfrecord]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
8 回答
68362 浏览

tensorflow - 如何在 tensorflow 中将 jpeg 图像目录转换为 TFRecords 文件?

我有训练数据,它是一个 jpeg 图像目录和一个包含文件名和相关类别标签的相应文本文件。我正在尝试将此训练数据转换为 tfrecords 文件,如 tensorflow 文档中所述。我花了很长时间试图让它工作,但在 tensorflow 中没有示例演示如何使用任何阅读器读取 jpeg 文件并使用 tfrecordwriter 将它们添加到 tfrecord

0 投票
7 回答
40371 浏览

python - TensorFlow - 一次读取 TFRecords 中的所有示例?

您如何一次读取 TFRecords 中的所有示例?

我一直在使用类似于fully_connected_reader 示例中的方法中tf.parse_single_example给出的代码来读取单个示例。但是,我想一次针对我的整个验证数据集运行网络,因此想全部加载它们。read_and_decode

我不完全确定,但文档似乎建议我可以使用tf.parse_example而不是tf.parse_single_example一次加载整个 TFRecords 文件。我似乎无法让它工作。我猜这与我如何指定功能有关,但我不确定如何在功能规范中声明有多个示例。

换句话说,我尝试使用类似于:

不起作用,我认为这是因为这些功能不会同时出现多个示例(但同样,我不确定)。[这导致错误ValueError: Shape () must have rank 1]

这是一次读取所有记录的正确方法吗?如果是这样,我需要改变什么才能真正阅读记录?非常感谢!

0 投票
1 回答
27001 浏览

python - TensorFlow 字符串:它们是什么以及如何使用它们

当我读取文件时,tf.read_file我得到了 type 的东西tf.string。文档只说它是“可变长度字节数组。张量的每个元素都是一个字节数组。” (https://www.tensorflow.org/versions/r0.10/resources/dims_types.html)。我不知道如何解释这一点。

我对这种类型无能为力。在通常的 python 中,您可以通过索引获取元素my_string[:4],但是当我运行以下代码时,我得到一个错误。

它说

我也无法将我的字符串转换为tf.float32张量。它是.flo文件,它有神奇的标题“PIEH”。此 numpy 代码成功地将此类标头转换为数字(请参见此处的示例https://stackoverflow.com/a/28016469/4744283),但我无法使用 tensorflow 做到这一点。我试过tf.string_to_number(string, out_type=tf.float32)但它说

那么,什么是字符串?它的形状是什么?我怎样才能至少得到字符串的一部分?我想如果我能得到它的一部分,我可以跳过“PIEH”部分。

UPD:我忘了说tf.slice(string, [0], [4])同样的错误也不起作用。

0 投票
1 回答
1206 浏览

python - 在 TensorFlow 中读取 jpeg 图像列表并将其转换为 TFRecords 的最快方法是什么?

我有一个 txt 文件中的图像和标签列表,格式如下:

文件1.jpg 1

文件2.jpg 0

文件3.jpg 1

文件4.jpg 1

其中标签是二进制的。

如何将图像数据转换为 TFRecord 文件而不将我的图像分配给标签的子目录(用于初始模型数据准备),并且只需读取 jpg 图像?我已经看过 tensorflow 的 TFRecords 教程,但似乎图像已经全部以张量形式构建。

我尝试了一个解决方案: 如何将 jpeg 图像目录转换为 tensorflow 中的 TFRecords 文件?

但它似乎没有用。

0 投票
5 回答
20472 浏览

tensorflow - 从 Tensorflow 中的 .tfrecords 文件中获取记录总数

是否可以从文件中获取记录总数.tfrecords?与此相关,人们通常如何跟踪训练模型时经过的 epoch 数?虽然我们可以指定batch_sizeand num_of_epochs,但我不确定是否可以直接获得诸如current epoch每个 epoch 的批次数等值 - 以便我可以更好地控制训练的进度。目前,我只是使用肮脏的技巧来计算这个,因为我事先知道我的 .tfrecords 文件中有多少条记录以及我的小批量的大小。感谢任何帮助..

0 投票
7 回答
50289 浏览

python - 如何检查 Tensorflow .tfrecord 文件?

我有一个.tfrecord,但我不知道它的结构。如何检查架构以了解.tfrecord文件包含的内容?

所有 Stackoverflow 答案或文档似乎都假设我知道文件的结构。

0 投票
1 回答
9255 浏览

python - Numpy to TFrecords:有没有更简单的方法来处理来自 tfrecords 的批量输入?

我的问题是关于如何从多个(或分片)tfrecord 中获取批量输入。我已经阅读了示例https://github.com/tensorflow/models/blob/master/inception/inception/image_processing.py#L410。基本管道是以训练集为例,(1)首先生成一系列 tfrecord(例如,,,train-000-of-005... train-001-of-005),(2)从这些文件名中,生成一个列表并将它们输入tf.train.string_input_producer到队列,(3)同时生成一个tf.RandomShuffleQueue做其他事情,(4)tf.train.batch_join用于生成批量输入。

我认为这很复杂,我不确定这个程序的逻辑。就我而言,我有一个.npy文件列表,我想生成分片 tfrecords(多个单独的 tfrecords,而不仅仅是一个大文件)。这些.npy文件中的每一个都包含不同数量的正样本和负样本(2 类)。一种基本方法是生成一个大型 tfrecord 文件。但文件太大(~20Gb)。所以我求助于分片 tfrecords。有没有更简单的方法来做到这一点?谢谢。

0 投票
1 回答
176 浏览

python - 读取 TF Record 文件需要很长时间

在这里尝试通过 tensorflow教程;我用〜100个图像构建了一个tf记录文件,现在当我尝试以下操作时,内核挂起;为什么会这样?tf 记录文件并不大,只有 30MB+ 左右,读取它们应该不会花很长时间:

它打印:

我的笔记本内核已经挂了 10 分钟,我看不到会有结局。有人可以指出我做错了什么吗?

0 投票
1 回答
1283 浏览

tensorflow - tf.contrib.data.TFRecordDataset 无法从 *.tfrecord 读取

在创建和加载 .tfrecord 文件的上下文中,我遇到了以下问题:

生成 dataset.tfrecord 文件

文件夹 /Batch_manager/assets 包含一些用于生成 dataset.tfrecord 文件的 *.tif 图像:

从 dataset.tfrecord 文件中读取

接下来,我尝试使用指向 dataset.tfrecord 文件的路径从该文件中读取:

错误信息:

TypeError: 预期 int64,得到了 '' 类型的 'str' 代替。

这段代码有什么问题?我成功验证了 dataset.tfrecord 实际上包含正确的图像和元数据!

0 投票
2 回答
1622 浏览

tensorflow - 多次成功的训练 epoch 后 TF 记录损坏

我正在训练一个神经网络,并成功地运行了几个 epoch 的所有训练数据。但是,tfrecord corrupted 错误突然出现如下:

我再次检查了数据文件,并且该行确实已损坏。但是在我运行训练代码之前数据是完整的,我只是通过以下代码读取数据:

我想知道为什么数据文件已损坏以及如何保持数据文件的完整性。