0

将一些文件上传到我的项目并创建目录后,我可以在该Find and Add Data部分中看到文件列表。但是,没有链接Insert to code。这适用于 , 类型的文件以及csv目录中的数据集。我究竟做错了什么?jsontar.gz

4

1 回答 1

3

插入代码选项仅适用于您在对象存储服务中上传的数据。

我看到您在 DSX 中使用 Catalog 进行存储。

目录仍处于 beta 状态,目前不为目录数据资产添加或支持插入代码。

随时在此处添加增强请求:- https://datascix.uservoice.com/forums/387207-general

如果您使用对象存储作为 storage 创建项目,您将看到 csv 文件的插入代码。

要从目录中读取,您将需要使用 projectUtil。

目录数据资产被视为项目的资源,因此要访问它,您需要访问令牌。

所以第一步,生成访问目录资源的令牌。转到项目设置并创建访问令牌,然后清除下一个单元格并单击笔记本中上面这 3 个点中的插入项目令牌,您将看到生成的代码如下

生成的代码只是创建项目上下文。

import com.ibm.analytics.projectNotebookIntegration._

val pc = ProjectUtil.newProjectContext(sc, "994b03fa-XXXXXX", "p-XXXXXXXXXX")

让我们列出可用文件。

val fileList = ProjectUtil.listAvailableFilesData(pc)

fileList.indices.foreach( i => println(i + ": " + fileList(i)))

所以 fileList 包含你的文件名。您可以直接使用文件名作为第二个参数。

val df = ProjectUtil.loadDataFrameFromFile(pc, fileList(1))

或者

val df1 = ProjectUtil.loadDataFrameFromFile(pc, "co2.csv")

您将在下面看到:-“正在创建 DataFrame,这将需要一些时间……已创建 DataFrame。”

df.show()你会看到内容。

完整笔记本:- https://github.com/charles2588/bluemixsparknotebooks/blob/master/scala/Read_Write_Catalog_Scala.ipynb

下面的文档也有 python 和 R 示例。 projectUtil 的参考:- https://datascience.ibm.com/docs/content/local/notebookfunctionsload.html

谢谢,查尔斯。

于 2017-05-18T00:46:20.363 回答