问题标签 [tensorflow-datasets]

我正在尝试使用 Tensorboard 来可视化我的测试过程。我的目的是，当每个 epoch 完成时，我想使用整个测试数据集测试网络的准确性，并将此准确性结果存储到摘要文件中，以便我可以在 Tensorboard 中将其可视化。

Tensorflow 有 summary_op 可以做到这一点，但是（所有现有示例）在运行代码 sess.run(summary_op) 时似乎只适用于一批。我需要计算整个测试数据集的准确性。我怎样才能做到这一点？

有什么例子可以做到吗？任何帮助将不胜感激。

我正在尝试使用 Tensorflow Dataset API 读取数据。我已将文件名和标签文件名加载到我加载到数据集中的数组中。然后我尝试将这些文件名映射到实际的图像文件，但得到一个错误，似乎表明映射函数的输入接收占位符而不是实际张量。

我得到的错误是在行中image = tf.image.decode_image(tf.read_file(filename))。堆栈跟踪如下。

我正在尝试使用 TF 的新功能，即 Data API，但我不确定预取是如何工作的。在下面的代码中

我上面的每一行之间有关系dataset=dataset.prefetch(batch_size)吗？output_buffer_size或者，如果数据集来自，则可能应该在每个将要使用的操作之后tf.contrib.data？

如何多次输出数据集中的值？（数据集由 TensorFlow 的 Dataset API 创建）

错误信息：

如何使这项工作？

我正在尝试创建一个文件名张量，以便使用 Dataset API 创建一个数据集。我的代码是tf.convert_to_tensor(file_list). 我也尝试tf.constant(file_list)过类似的结果。在这种情况下，file_list是一个 Python 的一维文件名字符串列表。这将返回一个形状张量，(N, )其中N是文件的数量。np.rank告诉我它是 dtype 的 0 级张量tf.int32。即使指定 dtype，也会tf.convert_to_tensor(file_list, dtype=tf.string)产生相同的结果。

Datset.from_tensor_slices当我使用and call将它传递给 Dataset 对象时dataset.map，我收到一个 read_file 错误，指出输入的等级是 rank-1，而它应该是 rank-0。在我看来，这似乎意味着转换为张量会以某种方式创建一个奇怪形状的张量，或者Datset.from_tensor_slices以意想不到的方式读取数据。

代码：

我有一个非常重要的输入管道，from_generator非常适合......

wherecomplex_img_label_generator动态生成图像并返回一个表示(H, W, 3)图像和简单string标签的 numpy 数组。处理不是我可以表示为从文件和tf.image操作中读取的东西。

我的问题是关于如何使发电机平行化？我如何让这些生成器中的 N 个在它们自己的线程中运行。

一种想法是使用dataset.mapwithnum_parallel_calls来处理线程；但是地图在张量上运行......另一个想法是创建多个生成器，每个生成器都有自己的prefetch并以某种方式加入它们，但我看不到如何加入 N 个生成器流？

我可以遵循任何规范的例子吗？

随着最近升级到 1.4 版，Tensorflow 包含tf.data在库核心中。1.4 版发行说明中描述的一个“主要新功能”是tf.data.Dataset.apply()，它是一种“应用自定义转换函数的方法”。这与现有的有什么不同tf.data.Dataset.map()？

我正在尝试使用 tf.data 输入管道来允许在运行时选择数据集，同时对数据进行批处理。以下应该允许我运行 InitTrain/InitTest 来选择要使用的数据集：

如果不使用迭代器，我可以使用以下内容获取填充批次：

如何在保留选择输入数据源的能力的同时批量处理我的数据？

一种可能的解决方法是创建一个新的 from_generator 数据集并创建一个在 DataNext 上调用 sess.run 的生成器，以创建一个可以批处理的数据集，但这会导致分配运行调用，所以我怀疑这是它的本意使用。

我正在为每个元素构建一个具有两个形状 [batch,width,heigh,3] 和 [batch,class] 的张量的数据集。为简单起见，假设类 = 5。

您输入什么形状以dataset.padded_batch(1000,shape)使图像沿宽度/高度/ 3 轴填充？

我尝试了以下方法：

每次引发 TypeError

文档状态：

padded_shapes：tf.TensorShape 或 tf.int64 矢量张量对象的嵌套结构，表示每个输入元素的相应组件在批处理之前应填充到的形状。任何未知维度（例如 tf.TensorShape 中的 tf.Dimension(None) 或类张量对象中的 -1）将被填充到每个批次中该维度的最大大小。

相关代码：

我正在尝试将 Iris 教程（https://www.tensorflow.org/get_started/estimator）转换为从 .png 文件而不是 .csv 读取训练数据。它可以使用numpy_input_fn，但当我从Dataset. 我认为input_fn()返回的是错误的类型，但并不真正理解它应该是什么以及如何做到这一点。错误是：

TensorFlow 版本是 1.3。完整代码：