0

我正在尝试使用神经网络的输出来转换 tf.data.dataset 中的数据。具体来说，我正在使用Delta-Encoder来操作 tf.data 管道内的嵌入。但是，在这样做时，我收到以下错误：

OperatorNotAllowedInGraphError: iterating over `tf.Tensor` is not allowed in Graph execution. Use Eager execution or decorate this function with @tf.function.

我已经搜索了数据集管道页面和堆栈溢出，但我找不到可以解决我的问题的东西。在下面的代码中，我使用了自动编码器，因为它会产生相同的错误，并且代码更简洁。

有问题的部分似乎在 [[x,]] = tf.py_function(Auto_Func, [x], [tf.float32]) 里面 tf_auto_transform。

num_embeddings = 100
input_dims = 1000
embeddings = np.random.normal(size = (num_embeddings, input_dims)).astype(np.float32)
target = np.zeros(num_embeddings)

#creating Autoencoder
inp = Input(shape = (input_dims,), name ='input')
hidden = Dense(10, activation = 'relu', name = 'hidden')(inp)
out = Dense(input_dims, activation = 'relu', name='output')(hidden)
auto_encoder = tf.keras.models.Model(inputs =inp, outputs=out)

Auto_Func = tf.keras.backend.function(inputs = Autoencoder.get_layer(name='input').input, 
                                      outputs = Autoencoder.get_layer(name='output').input )

#Autoencoder transform for dataset.map
def tf_auto_transform(x, target):
    x_shape = x.shape
    #@tf.function
    #def func(x):
    #    return tf.py_function(Auto_Func, [x], [tf.float32])
    #[[x,]] = func(x)
    [[x,]] = tf.py_function(Auto_Func, [x], [tf.float32]) 
    x.set_shape(x_shape) 
    return x, target

def get_dataset(X,y, batch_size = 32):
    train_ds = tf.data.Dataset.from_tensor_slices((X, y))
    train_ds = train_ds.map(tf_auto_transform)
    train_ds = train_ds.batch(batch_size)
    return train_ds

dataset = get_dataset(embeddings, target, 2)

上面的代码产生以下错误：

OperatorNotAllowedInGraphError: iterating over `tf.Tensor` is not allowed in Graph execution. Use Eager execution or decorate this function with @tf.function.

我试图通过运行 tf_auto_transform 函数的注释掉部分来消除错误，但错误仍然存​​在。

旁注：虽然 Delta 编码器论文确实有代码，但它是用 tf 1.x 编写的。我正在尝试将 tf 2.x 与 tf 功能 API 一起使用。谢谢您的帮助！

4

1 回答 1

0

冒着把自己当成 n00b 的风险，答案是切换 map 和 batch 函数的顺序。我正在尝试应用神经网络对数据进行一些更改。tf.keras 模型将批次作为输入，而不是单个样本。通过首先对数据进行批处理，我可以通过我的 nn.bat 运行批处理。

def get_dataset(X,y, batch_size = 32):
    train_ds = tf.data.Dataset.from_tensor_slices((X, y))
    
    #The changed order
    train_ds = train_ds.batch(batch_size)
    train_ds = train_ds.map(tf_auto_transform)**strong text**
    return train_ds

真的就是这么简单。

于 2020-08-26T11:31:41.357 回答