1

我是深度学习和 TFF 的新手。我需要使用 CNN 对来自 EMNIST 的图像进行分类。我在 GitHub 上看到了名为 Federated Learning for Image Classification 的教程。我创建了一个名为 CNN 的网络，然后我使用 forward_pass 函数来实例化一个 cnn 模型来计算预测。但是 TFF 需要将模型变量作为可训练变量传递给 tff.learning.Model。我打印 CNN model.variables。我不知道如何命名，所以我使用 cnn_conv2d_kernel 来表示 cnn/conv2d/kernel。这是我的代码：

打印的model.variables：

variables: [<tf.Variable 'cnn/conv2d/kernel:0' shape=(5, 5, 1, 32) dtype=float32>, <tf.Variable 'cnn/conv2d/bias:0' shape=(32,) dtype=float32>, <tf.Variable 'cnn/conv2d_1/kernel:0' shape=(5, 5, 32, 64) dtype=float32>, <tf.Variable 'cnn/conv2d_1/bias:0' shape=(64,) dtype=float32>, <tf.Variable 'cnn/dense/kernel:0' shape=(3136, 1024) dtype=float32>, <tf.Variable 'cnn/dense/bias:0' shape=(1024,) dtype=float32>, <tf.Variable 'cnn/dense_1/kernel:0' shape=(1024, 10) dtype=float32>, <tf.Variable 'cnn/dense_1/bias:0' shape=(10,) dtype=float32>]

我创建的变量是为了将可训练和不可训练变量传递给 tff.learning.Model：

MnistVariables = collections.namedtuple(
'MnistVariables','cnn_conv2d_kernel cnn_conv2d_bias cnn_conv2d_1_kernel cnn_conv2d_1_bias cnn_dense_kernel cnn_dense_bias cnn_dense_1_kernel cnn_dense_1_bias num_examples loss_sum accuracy_sum'

)

def create_mnist_variables():
  return MnistVariables(
      # weights=tf.Variable(
      #     # lambda: tf.zeros(dtype=tf.float32, shape=(784,10)),
      #     lambda: tf.zeros(dtype=tf.float32, shape=(28,28,10)),
      #     name='weights',
      #     trainable=True),
      # bias=tf.Variable(
      #     lambda: tf.zeros(dtype=tf.float32, shape=(10)),
      #     name='bias',
      #     trainable=True),

      cnn_conv2d_kernel=tf.Variable(
          # lambda: tf.zeros(dtype=tf.float32, shape=(784,10)),
          lambda: tf.zeros(dtype=tf.float32, shape=(5,5,1,32)),
          name='cnn_conv2d_kernel',
          trainable=True),
      cnn_conv2d_bias=tf.Variable(
          # lambda: tf.zeros(dtype=tf.float32, shape=(784,10)),
          lambda: tf.zeros(dtype=tf.float32, shape=(32,)),
          name='cnn_conv2d_bias',
          trainable=True),
      cnn_conv2d_1_kernel=tf.Variable(
          # lambda: tf.zeros(dtype=tf.float32, shape=(784,10)),
          lambda: tf.zeros(dtype=tf.float32, shape=(5,5,32,64)),
          name='cnn_conv2d_1_kernel',
          trainable=True),
      cnn_conv2d_1_bias=tf.Variable(
          # lambda: tf.zeros(dtype=tf.float32, shape=(784,10)),
          lambda: tf.zeros(dtype=tf.float32, shape=(64,)),
          name='cnn_conv2d_1_bias',
          trainable=True),
      cnn_dense_kernel=tf.Variable(
          # lambda: tf.zeros(dtype=tf.float32, shape=(784,10)),
          lambda: tf.zeros(dtype=tf.float32, shape=(3136,1024)),
          name='cnn_dense_kernel',
          trainable=True),
      cnn_dense_bias=tf.Variable(
          # lambda: tf.zeros(dtype=tf.float32, shape=(784,10)),
          lambda: tf.zeros(dtype=tf.float32, shape=(1024,)),
          name='cnn_dense_bias',
          trainable=True),
      cnn_dense_1_kernel=tf.Variable(
          # lambda: tf.zeros(dtype=tf.float32, shape=(784,10)),
          lambda: tf.zeros(dtype=tf.float32, shape=(1024,10)),
          name='cnn_dense_1_kernel',
          trainable=True),
      cnn_dense_1_bias=tf.Variable(
          # lambda: tf.zeros(dtype=tf.float32, shape=(784,10)),
          lambda: tf.zeros(dtype=tf.float32, shape=(10,)),
          name='cnn_dense_1_bias',
          trainable=True),
      num_examples=tf.Variable(0.0, name='num_examples', trainable=False),
      loss_sum=tf.Variable(0.0, name='loss_sum', trainable=False),
      accuracy_sum=tf.Variable(0.0, name='accuracy_sum', trainable=False)
  )

我的部分 tff.learning.Model 代码：

class MnistModel(tff.learning.Model):

  def __init__(self):
    self._variables = create_mnist_variables()

  #所有的“tf.Variables”都应该在“__init__”中引入
  @property
  def trainable_variables(self):
    #return [self._variables.weights, self._variables.bias]
    return [self._variables.cnn_conv2d_kernel,
        self._variables.cnn_conv2d_bias,
        self._variables.cnn_conv2d_1_kernel,
        self._variables.cnn_conv2d_1_bias,
        self._variables.cnn_dense_kernel,
        self._variables.cnn_dense_bias,
        self._variables.cnn_dense_1_kernel,
        self._variables.cnn_dense_1_bias
        ]

请原谅我糟糕的英语并请帮助我。（请）

现在，我有一个新问题：

ValueError: No gradients provided for any variable: ['cnn_conv2d_kernel:0', 'cnn_conv2d_bias:0', 'cnn_conv2d_1_kernel:0', 'cnn_conv2d_1_bias:0', 'cnn_dense_kernel:0', 'cnn_dense_bias:0', 'cnn_dense_1_kernel:0', 'cnn_dense_1_bias:0'].
4

1 回答 1

1

tff.learning.Model对于这个用例，编写 atf.keras.Model并使用 TFF 的实用程序将其转换为 a可能比直接继承 a 更容易tff.learning.Model。

在 TFF 托管的研究代码中有一些这样做的例子；一个这样的指针在这里。这个指针指向一个纯 Keras 模型；要在 TFF 中使用它，我们必须使用tff.learning.from_keras_model上面链接的函数。如果您有 atf.data.Dataset ds其中包含您的图像和标签，以及一个损失函数loss_fn，您可以tff.learning.model通过调用来获得 a：

keras_model = create_keras_model()
tff_model = tff.learning.from_keras_model(
    keras_model=keras_model, loss=loss_fn, input_spec=ds.element_spec)

直接子类tff.learning.Model化 a 有点像高级用户功能。例如，您将需要编写本机 TensorFlow 来定义前向传递。为了开始一般的深度学习，特别是 TFF，我建议以tf.keras上述方式使用更高级别的 API，如 TFF 的 keras 实用程序。

于 2020-04-04T20:14:43.997 回答