python - Tensorflow .batch 没有正确分离张量

Question

我有一个形状数组 (1, 6354944)

array([[ 9.15527344e-05, -6.10351562e-05,  6.10351562e-05, ...,
     1.01928711e-02,  7.92236328e-02, -2.69470215e-02]])

并将它们转换为张量切片

stream = tf.data.Dataset.from_tensor_slices(reshaped_data)

但是当我批处理它们时

seqs = stream.batch(1000, drop_remainder=True)

它返回

<BatchDataset shapes: (1000, 6354944), types: tf.float64>

当它的形状应该是

(1000, 6354)

Answer 1

你应该设置

drop_remainder=假

如文档中所述产生较小的批次：

批：

批处理（batch_size，drop_remainder=False，num_parallel_calls=None，确定性=None）

结果元素的组件将有一个额外的外部维度，它将是 batch_size （如果 batch_size 没有将输入元素的数量 N 均分并且 drop_remainder 为 False，则为最后一个元素的 N % batch_size）。如果您的程序依赖于具有相同外部尺寸的批次，则应将 drop_remainder 参数设置为 True 以防止生成较小的批次。

Answer 2

您可以在创建数据集之前重塑数据：

r = tf.reshape(a[ : , :6354000 ], (1000, 6354))
stream = tf.data.Dataset.from_tensor_slices(r)
seqs = stream.batch(1000) #(1000,6354)