python - 张量流numpy到张量流

Question

我已经使用 numpy 读取了一个 csv 文件genfromtxt

csv_file = np.genfromtxt(args.dataset, delimiter=',',skip_header=1,usecols=(0,1,2,3,4,5), dtype=None)

问题：如何使用 string_input_producer 对文件进行排队和批处理。

Answer 1

您可以像这样做一样从 CSV 中读取 Numpy 数组，然后手动将其分成批次。但是，TF 具有从多个 CSV 文件读取数据并将行放在一起以随机或顺序批处理的内置功能。您可以读取不同数据类型的单元格，并根据需要将它们转换为您的相关数据类型。

这个问题讨论了执行此操作的工作代码： Converting TensorFlow tutorial to work with my own data

简而言之，您需要的关键功能是tf.TextLineReader、tf.train.string_input_producer、 和tf.train.shuffle_batch、 或tf.train.batch，具体取决于您的需要。

我知道该方法的唯一限制是 CSV 文件中的行应该是相等的长度。