0

我将Keras Tuner视为一种进行超参数优化的方法，但我看到的所有示例都显示了一个全新的模型正在定义中。例如，来自 Keras Tuner Hello World：

def build_model(hp):
    model = keras.Sequential()
    model.add(layers.Flatten(input_shape=(28, 28)))
    for i in range(hp.Int('num_layers', 2, 20)):
        model.add(layers.Dense(units=hp.Int('units_' + str(i), 32, 512, 32),
                               activation='relu'))
    model.add(layers.Dense(10, activation='softmax'))
    model.compile(
        optimizer=keras.optimizers.Adam(
            hp.Choice('learning_rate', [1e-2, 1e-3, 1e-4])),
        loss='sparse_categorical_crossentropy',
        metrics=['accuracy'])
    return model

我已经有一个想要调整的模型，但这是否意味着我必须用拼接到身体的超参数重写它，如上所述，或者我可以简单地将超参数传递给顶部的模型？例如像这样：

def build_model(hp):
    model = MyExistingModel(
        batch_size=hp['batch_size'],
        seq_len=hp['seq_len'],
        rnn_hidden_units=hp['hidden_units'],
        rnn_type='gru',
        num_rnn_layers=hp['num_rnn_layers']
    )
    optimizer = optimizer_factory['adam'](
        learning_rate=hp['learning_rate'],
        momentum=0.9,
    )
    model.compile(
        optimizer=optimizer,
        loss='sparse_categorical_crossentropy',
        metrics=['sparse_categorical_accuracy'],
    )
    return model

据我所知，上述方法似乎有效。模型初始化参数都通过一个HyperParameters实例传递给内部 TF 层，并从那里访问......虽然我不太确定如何传递它......我认为可以通过预定义一个HyperParameters对象和将其传递给调谐器，然后将其传递给build_model：

hp = HyperParameters()
hp.Choice('learning_rate', [1e-1, 1e-3])

tuner = RandomSearch(
    build_model,
    max_trials=5,
    hyperparameters=hp,
    tune_new_entries=False,
    objective='val_accuracy')

在内部，我的模型有两个 RNN（LSTM 或 GRU）和一个 MLP。但是我还没有遇到过一个 Keras Tuner build_model，它采用这样的现有模型，只需传入超参数。该模型非常复杂，我想避免重新定义它（以及避免代码重复）。

4

1 回答 1

2

确实这是可能的，因为这个 GitHub 问题清楚地表明......

但是，我不是hp通过 arg 将对象传递hyperparameters给 Tuner，而是按照此处run_trial建议的方式覆盖 Tuner 方法。

于 2020-09-23T15:24:13.917 回答