clearml - ClearML 如何在 AWS Sagemaker 中更改 clearml.conf 文件

Question

我正在使用 AWS Sagemaker Jupyter 笔记本。我已经在 J​​upyter 的 AWS Sagemaker 中安装了 clearml 包。ClearML 服务器安装在 AWS EC2 上。我需要将工件和模型存储在 AWS S3 存储桶中，因此我想在 clearml.conf 文件中指定 S3 的凭证。如何更改 AWS Sagemaker 实例中的 clearml.conf 文件？看起来好像对它上面的所有文件夹都拒绝了权限。或者也许有人可以提出更好的方法。

Answer 1

免责声明 我是 ClearML（前身为 Trains）团队的一员。

要设置凭据（和clearml-server主机），您可以使用Task.set_credentials. 要将 S3 存储桶指定为所有工件（以及相关的调试图像）的输出，您只需将其设置为files_server.

例如：

from clearml import Task

Task.set_credentials(api_host='http://clearml-server:8008', web_host='http://clearml-server:8080', files_host='s3://my_bucket/folder/',
key='add_clearml_key_here', secret='add_clearml_key_secret_here')

要传递您的 S3 凭证，只需在 jupyter 笔记本顶部添加一个单元格，然后设置标准 AWS S3 环境变量：

import os
os.environ['AWS_ACCESS_KEY_ID'] = 's3_bucket_key_here'
os.environ['AWS_SECRET_ACCESS_KEY'] = 's3_bucket_secret_here'
# optional
os.environ['AWS_DEFAULT_REGION'] = 's3_bucket_region'