1

我是使用Databricks.com中的 Notebook 和 Cluster 学习 Spark 和 Scala 的新手，这是我加载文件的非常简单的代码：

import sys.process._
val localpath="file:/tmp/myfile.json"
dbutils.fs.mkdirs("dbfs:/datasets/")
dbutils.fs.cp(localpath, "dbfs:/datasets/")

但我得到这样的错误：

java.io.FileNotFoundException：文件文件：/tmp/myfile.json 不存在。

在 org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:402)

在 org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:255)

在 com.databricks.backend.daemon.dbutils.FSUtils$.cp(DBUtilsCore.scala:82)

在 com.databricks.dbutils_v1.impl.DbfsUtilsImpl.cp(DbfsUtilsImpl.scala:40)

我正在使用 Mac，并且我已确保该文件存在于此绝对路径中，这是火花错误吗？谢谢！

4

1 回答 1

0

该行：

val localpath="file:/tmp/myfile.json"

应该：

val localpath="file://tmp/myfile.json"

基本上所有 URI 的格式都是 ://path 参见RFC-3986

于 2016-10-17T19:32:10.157 回答