0

我目前正在尝试使用 MXNet R API 设置前馈 NN。我想实现一个自定义损失函数，它使用我自己定义的预先固定的权重为 c(7,8,9)。在 Tensorflow 中，可以选择将变量定义为不可训练，以确保这些变量在训练过程中不会被修改。这正是我的体重所需要的！不幸的是，我还没有找到任何实现这一点的方法。这是我的代码：

data <- mx.symbol.Variable('data')
label <- mx.symbol.Variable('label')
weights <- mx.symbol.Variable(name='weights')

... [some network layers]...

fc2 <- mx.symbol.FullyConnected(data=tanh3, num_hidden=length(predictable_errors))
softmax <- mx.symbol.SoftmaxActivation(data=fc2, name="softmax_activation")
weighted_l2 <- mx.symbol.sum(mx.symbol.square(softmax - label)*weights)
loss <- mx.symbol.MakeLoss(data=weighted_l2)

model <- mx.model.FeedForward.create(loss, X=train.x, y=train.y, ctx=mx.cpu(), arg.params = list(weights=mx.nd.array( array(c(7,8,9), dim=c(3,1)), mx.cpu() )), num.round=1, learning.rate=0.05, momentum=0.9, array.batch.size = 1, eval.metric=mx.metric.accuracy, epoch.end.callback=mx.callback.log.train.metric(1))

我知道 Python API 提供了 set_lr_mult 函数，通过它我可以将“权重”的学习率设置为零，但对于 R，这似乎不是一个选项。你有什么建议吗？

非常感谢！

4

1 回答 1

0

您可以通过使用模块而不是前馈来做到这一点，并且当您使用模块时，您可以传递您不想训练的固定参数。

model <- mx.mod.Module(loss, data_names, label_names, ctx=mx.cpu(),
                            fixed_param_names=[list of parameters you do not want to train for])

你可以在这里阅读更多

于 2017-02-03T21:43:06.490 回答