1

我想运行多个实验,然后报告每个实验的模型准确性。

我正在使用 pytorch (v1.1.0) 训练一个玩具 MNIST 示例,但目标是,一旦我可以比较玩具问题的性能,就可以将其与实际代码库集成。

据我了解 TRAINS python 包,使用“两行代码”,我的所有超参数都已记录(在我的情况下为命令行 argparse)。

我需要做什么才能报告最终标量,然后能够对所有不同的训练实验(w/超参数)进行排序,以找到最好的。

我想要得到的是一个图表,在 X 轴上我有超参数值,在 Y 轴上我有验证准确度。

4

1 回答 1

1

我假设您指的是:https ://pypi.org/project/trains/ (https://github.com/allegroai/trains),我是维护者之一。

您可以手动创建一个图,其中 X 轴表示超参数值,Y 轴表示精度。

number_layers = 10
accuracy = 0.95
Task.current_task().get_logger().report_scatter2d(
    "performance", "accuracy", iteration=0, 
    mode='markers', scatter=[(number_layers, accuracy)])

假设您的超参数是“number_layers”,当前值为 10,训练模型的准确度为 0.95。

然后,当您比较实验时,您会得到类似的结果:

比较散点图

于 2019-06-24T22:11:28.193 回答