5

在 Scala 中，作为一项实验，我使用 Spark 在 Tachyon 上创建了一个序列文件并将其读回。我还想使用 Spark 脚本从 Tachyon 中删除该文件。

val rdd =  sc.parallelize(Array(("a",2), ("b",3), ("c",1)))
rdd.saveAsSequenceFile("tachyon://127.0.0.1:19998/files/123.sf2")
val rdd2 = sc.sequenceFile[String,Int]("tachyon://127.0.0.1:19998/files/123.sf2")

我不太了解 Scala 语言，也找不到有关文件路径操作的参考。我确实找到了一种在 Scala 中以某种方式使用 Java 来做到这一点的方法，但我无法使用 Tachyon 让它工作。

import java.io._
new File("tachyon://127.0.0.1:19998/files/123.sf2").delete()
4

1 回答 1

-1

有不同的方法，例如：

  • 命令行：

    ./bin/tachyon tfs rm filePath

更多信息：http ://tachyon-project.org/Command-Line-Interface.html

  • 接口：

    TachyonFS sTachyonClient = TachyonFS.get(args[0]);
sTachyonClient.delete(filePath, true);

更多信息： https ://github.com/amplab/tachyon/blob/master/core/src/main/java/tachyon/examples/BasicOperations.java

于 2014-07-21T19:14:19.930 回答