0

我在尝试将数据导入 TFX 管道时遇到了一些麻烦,如果有人能指出我正确的方向,我将不胜感激。我有一个 3D Ragged(或 Sparse,如果需要)张量,其中每个 2D 切片都是我想输入管道的示例。每个 2D 张量由可变数量的行组成,但它们共同形成一个示例,而不仅仅是一批示例。对这种结构进行编码的最佳方法是什么,以便 tfx 管道的 ExampleGen 组件可以将其输入管道?到目前为止,我已经尝试了本指南中的说明https://medium.com/mostly-ai/tensorflow-records-what-they-are-and-how-to-use-them-c46bc4bbb564将其转入 tf.train.SequenceExample,使每个特征在 value 字段内都有一个向量,并将结果写入 tf.Record。出于某种原因,我真的很难打开它。

任何帮助将非常感激!

Ps:请注意,张量的第三个暗淡很长,比如 40k,因此将每个示例写入 tf.Record 会生成相同数量的文件,我认为这不切实际、效率低下且不是很优雅,但我我很高兴错了。

4

0 回答 0