0

我正在尝试一起训练 GPR 模型和 tensorflow 模型。训练部分没有问题。但是对于使用经过训练的模型进行预测，我在 tf.placeholder 操作中收到类型错误。

pred, uncp=sess.run([my, yv], feed_dict={X:xtr})

该代码类似于https://gpflow.readthedocs.io/en/master/notebooks/advanced_usage.html中的第二个示例 

import numpy as np
import tensorflow as tf

import gpflow
float_type = gpflow.settings.float_type
gpflow.reset_default_graph_and_session()

def cnn_fn(x, output_dim):    
    out= tf.layers.dense(inputs=x, units=output_dim, activation=tf.nn.relu)
    print(out)    
    return out

N = 150
xtr = np.random.rand(N,1)
ytr = np.sin(12*xtr) + 0.66*np.cos(25*xtr) + np.random.randn(N,1)*0.1 + 3
xtr = np.random.rand(N,28)
print(xtr.shape, ytr.shape)
nepoch=50
gp_dim=xtr.shape[1]
print(gp_dim)
minibatch_size = 16

X = tf.placeholder(tf.float32, [None, gp_dim]) 
Y = tf.placeholder(tf.float32, [None, 1])

with tf.variable_scope('cnn'):
    f_X = tf.cast(cnn_fn(X, gp_dim), dtype=float_type)

k = gpflow.kernels.Matern52(gp_dim)
gp_model = gpflow.models.GPR(f_X, tf.cast(Y, dtype=float_type), k)

loss = -gp_model.likelihood_tensor
m, v = gp_model._build_predict(f_X)
my, yv = gp_model.likelihood.predict_mean_and_var(m, v)

with tf.variable_scope('adam'):
    opt_step = tf.train.AdamOptimizer(0.001).minimize(loss)

tf_vars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, scope='adam')
tf_vars += tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, scope='cnn')

## initialize
sess = tf.Session()
sess.run(tf.variables_initializer(var_list=tf_vars))
gp_model.initialize(session=sess)

for i in range(nepoch):
    shind=np.array(range(len(xtr)))
    np.random.shuffle(shind)
    for j in range(int(len(xtr)/minibatch_size)):
        ind=shind[j*minibatch_size: (j+1)*minibatch_size]
        sess.run(opt_step, feed_dict={X:xtr[ind], Y:ytr[ind]})

执行上面的代码运行良好。但是添加以下行会产生错误：

 pred, uncp=sess.run([my, yv], feed_dict={X:xtr})

出现以下错误：

<ipython-input-25-269715087df2> in <module>
----> 1 pred, uncp=sess.run([my, yv], feed_dict={X:xtr})

[...]

InvalidArgumentError: You must feed a value for placeholder tensor 'Placeholder_1' with dtype float and shape [?,1]
     [[node Placeholder_1 (defined at <ipython-input-24-39ccf45cd248>:2)  = Placeholder[dtype=DT_FLOAT, shape=[?,1], _device="/job:localhost/replica:0/task:0/device:GPU:0"]()]]
4

2 回答 2

1

您的代码失败的原因是因为您实际上并没有向占位符之一提供值。如果你真的给他们起名字，这更容易发现：

X = tf.placeholder(tf.float32, [None, gp_dim], name='X') 
Y = tf.placeholder(tf.float32, [None, 1], name='Y')

TensorFlow 要求对整个计算图进行良好定义，并且GPR您使用的模型同时依赖于X 和 Y。如果您运行以下行，它可以正常工作：

pred, uncp = sess.run([my, yv], feed_dict={X: xtr, Y: ytr})

更新：正如user1018464在评论中指出的那样，您正在使用该GPR模型，其中预测直接取决于训练数据（例如参见http://www.gaussianprocess.org第 16 页上的方程（2.22）和（2.23） /gpml/chapters/RW2.pdf）。因此，您需要同时传入两者xtr并ytr进行预测。

其他模型，例如SVGP通过“诱导特征”来表示函数，通常是汇总数据的“伪输入/输出”对，在这种情况下，您根本不需要输入原始输入值（当我错了第一个回答）。

您可以按如下方式设置模型：

gp_model = gpflow.models.SVGP(f_X, tf.cast(Y, dtype=float_type), k, gpflow.likelihoods.Gaussian(), xtr.copy(), num_data=N)

然后pred, uncp=sess.run([my, yv], feed_dict={X:xtr})按预期工作。

如果要在不同的点进行预测Xtest，则需要设置一个单独的占位符，并重用 cnn（注意reuse=Truevariable_scope 中的同名），如 notebook 的示例 2：

Xtest = tf.placeholder(tf.float32, [None, Mnist.input_dim], name='Xtest')

with tf.variable_scope('cnn', reuse=True):
    f_Xtest = tf.cast(cnn_fn(Xtest, gp_dim), dtype=float_type)

像以前一样使用 设置模型f_X，但f_Xtest在调用中使用_build_predict：

m, v = gp_model._build_predict(f_Xtest)
my, yv = gp_model.likelihood.predict_mean_and_var(m, v)

现在您需要将X、Y和传入会话的 run() 中： Xtest

pred, uncp = sess.run([my, yv], feed_dict={X: xtr, Y: Ytr, Xtest: xtest})

numpy 数组在哪里xtest，其中包含您要预测的点。

于 2019-05-10T19:40:01.740 回答
0

GPflow 为您管理 TensorFlow 会话，当您单独使用 GPflow 时，您无需创建自己的 TF 会话。在您的情况下，tf.layers.dense创建新变量，应该对其进行初始化，我建议使用由 GPflow 创建的会话。本质上，您需要替换这些行

## initialize
sess = tf.Session()
sess.run(tf.variables_initializer(var_list=tf_vars))
gp_model.initialize(session=sess)

和：

sess = gpflow.get_default_session()
sess.run(tf.variables_initializer(var_list=tf_vars)

或使用默认会话上下文包装您的代码：

with tf.Session() as session:
    ... build and run
于 2019-05-13T16:53:14.980 回答