0

我有一个 NN，它有两个相同的 CNN（类似于 Siamese 网络），然后合并输出，并打算在合并的输出上应用自定义损失函数，如下所示：

     -----------------        -----------------
     |    input_a    |        |    input_b    |
     -----------------        -----------------
     | base_network  |        | base_network  |
     ------------------------------------------
     |           processed_a_b                |
     ------------------------------------------

在我的自定义损失函数中，我需要将 y 垂直分成两部分，然后对每一部分应用分类交叉熵损失。但是，我不断从我的损失函数中得到 dtype 错误，例如：

ValueError Traceback (last last call last) in () ----> 1 model.compile(loss=categorical_crossentropy_loss, optimizer=RMSprop())

/usr/local/lib/python3.5/dist-packages/keras/engine/training.py 在编译（自我，优化器，损失，指标，loss_weights，sample_weight_mode，**kwargs）909 loss_weight = loss_weights_list [i] 910 output_loss = weighted_loss(y_true, y_pred, --> 911 sample_weight, mask) 912 if len(self.outputs) > 1: 913 self.metrics_tensors.append(output_loss)

/usr/local/lib/python3.5/dist-packages/keras/engine/training.py in weighted(y_true, y_pred, weights, mask) 451 # 如果权重不是无，则应用样本加权 452：-> 453 score_array *= 权重 454 score_array /= K.mean(K.cast(K.not_equal(weights, 0), K.floatx())) 455 返回 K.mean(score_array)

/usr/local/lib/python3.5/dist-packages/tensorflow/python/ops/math_ops.py in binary_op_wrapper(x, y) 827 if not isinstance(y, sparse_tensor.SparseTensor): 828 try: --> 829 y = ops.convert_to_tensor(y, dtype=x.dtype.base_dtype, name="y") 830 except TypeError: 831 # 如果 RHS 不是张量，它可能是张量感知对象

/usr/local/lib/python3.5/dist-packages/tensorflow/python/framework/ops.py in convert_to_tensor(value, dtype, name, preferred_dtype) 674 name=name, 675 preferred_dtype=preferred_dtype, --> 676 as_ref =假）677 678

/usr/local/lib/python3.5/dist-packages/tensorflow/python/framework/ops.py in internal_convert_to_tensor(value, dtype, name, as_ref, preferred_dtype) 739 740 if ret is None: --> 741 ret = conversion_func(value, dtype=dtype, name=name, as_ref=as_ref) 742 743 如果 ret 未实现：

/usr/local/lib/python3.5/dist-packages/tensorflow/python/framework/ops.py in _TensorTensorConversionFunction(t, dtype, name, as_ref) 612 raise ValueError( 613 "Tensor conversion requested dtype %s for Tensor with dtype %s: %r" --> 614 % (dtype.name, t.dtype.name, str(t))) 615 return t 616

ValueError：张量转换为 dtype float32 的张量请求 dtype float64：'Tensor("processed_a_b_sample_weights_1:0", shape=(?,), dtype=float32)'

这是重现错误的MWE：

import tensorflow as tf
from keras import backend as K
from keras.layers import Input, Dense, merge, Dropout
from keras.models import Model, Sequential
from keras.optimizers import RMSprop
import numpy as np

# define the inputs
input_dim = 10
input_a = Input(shape=(input_dim,), name='input_a')
input_b = Input(shape=(input_dim,), name='input_b')
# define base_network
n_class = 4
base_network = Sequential(name='base_network')
base_network.add(Dense(8, input_shape=(input_dim,), activation='relu'))
base_network.add(Dropout(0.1))
base_network.add(Dense(n_class, activation='relu'))
processed_a = base_network(input_a)
processed_b = base_network(input_b)
# merge left and right sections
processed_a_b = merge([processed_a, processed_b], mode='concat', concat_axis=1, name='processed_a_b')
# create the model
model = Model(inputs=[input_a, input_b], outputs=processed_a_b)

# custom loss function
def categorical_crossentropy_loss(y_true, y_pred):
    # break (un-merge) y_true and y_pred into two pieces
    y_true_a, y_true_b = tf.split(value=y_true, num_or_size_splits=2, axis=1)
    y_pred_a, y_pred_b = tf.split(value=y_pred, num_or_size_splits=2, axis=1)
    loss = K.categorical_crossentropy(output=y_pred_a, target=y_true_a) + K.categorical_crossentropy(output=y_pred_b, target=y_true_b) 
    return K.mean(loss)

# compile the model
model.compile(loss=categorical_crossentropy_loss, optimizer=RMSprop())
4

1 回答 1

1

正如您的错误所示，您正在使用float32数据并且它期望float64. 有必要将错误跟踪到其特定的行，以确定要纠正的张量并能够更好地帮助您。

不过貌似K.mean()和method有关，其实ValueErrors也可以通过K.categorical_crossentropy()method生成。因此，问题可能出在您的张量loss上，两者都y_preds 或两者都y_trues。鉴于这些情况，我看到您可以尝试解决问题的两件事：

  1. 您可以将您的张量（假设它是loss）转换为所需的（float64）类型，如下所示：

    from keras import backend as K
new_tensor = K.cast(loss, dtype='float64')

  2. 您可以在开始时将输入声明为 float64 类型，方法是将参数传递dtype给Input()调用（如这些示例中所建议的那样），如下所示：

    input_a = Input(shape=(input_dim,), name='input_a', dtype='float64')
于 2017-07-14T22:14:36.970 回答