2

我想papermill用作数据科学工作流程的一部分来记录实验。关键思想是输出笔记本应该被存储为一个独特的工件——一个不可变的实验记录。因此，我希望输出文件名是唯一的文件名，例如experiment_<hash>.ipynb. 如何在 linux CLI 上自动执行此操作？从papermill docs看来，我必须指定确切的输出文件名，例如

papermill local/input.ipynb s3://bkt/output.ipynb -f parameters.yaml

而我真正想要的是

papermill local/input.ipynb s3://bkt/output_[UNIQUE HASH HERE].ipynb -f parameters.yaml

我想在papermill通话中自动执行此操作。手动方式是

$ echo cat input.ipynb | md5sum
22f69c25ee3a855b17fead21e702668a
$ papermill local/input.ipynb s3://bkt/output_22f69c25ee3a855b17fead21e702668a.ipynb -f parameters.yaml

但我不想通过剪切和粘贴手动完成。

4

1 回答 1

1

您可以使用命令替换，例如：

papermill local/input.ipynb s3://bkt/output_`date +%s | sha256sum | base64 | head -c 32`.ipynb -f parameters.yaml

或更新的方式

papermill local/input.ipynb s3://bkt/output_$(date +%s | sha256sum | base64 | head -c 32).ipynb -f parameters.yaml
于 2020-02-12T10:39:02.067 回答