watson-studio - 保存到云对象存储后如何将文件/文件夹注册为项目数据资产？

Question

我已将 Spark 数据帧保存到云对象存储到 Watson Studio 项目的存储桶中：

staging     
  .write             
  .mode("overwrite") 
  .option("header", "true")
  .csv(cos.url('all.csv', 'myproject-bucket'))

我会将生成的文件夹显示在项目资产中。

最初，我尝试使用 project-lib，但从文档看来，您必须拥有一个类似对象的文件，这意味着将所有数据带回驱动程序节点，如果这样做，我的内存就会用完。

Answer 1

您可以创建从 Watson Studio 到 COS 的连接并发布文件。

脚步

1. 在 Watson Studio 界面中，转到“添加到项目”-> 连接
2. 为“云对象存储”创建一个连接。您需要 COS 存储桶的凭据。
3. 您可以选择勾选“发现数据资产”。它将存储桶中的所有文件添加到您的项目资产中。您可以从那里发布资产。
4. 如果您没有选择“发现数据资产”，那么您可以手动选择文件。转到“添加到项目”-> 连接数据并使用您之前创建的连接，它将列出您可以从中选择的文件。