2

我正在使用 Apache Spark 构建应用程序。为了使其他应用程序可以使用 RDD，我尝试了两种方法：

  1. 使用超光速粒子
  2. 使用火花作业服务器

我是 Tachyon 的新手。我完成了在集群上运行 Tachyon 中给出的以下任务

我可以从master:19999URL 访问 UI。

从 tachyon 目录我成功创建了一个目录./bin/tachyon tfs mkdir /Test 但是在尝试执行 copyFromLocal 命令时，我收到以下错误：

FailedToCheckpointException(message:Failed to rename hdfs://master:54310/tmp/tachyon/workers/1421840000001/8/93 to hdfs://master:54310/tmp/tachyon/data/93)
4

1 回答 1

0

您很可能在不同的用户下运行 tachyon 和 spark-jobserver，并将 HDFS 作为您的 underFS。

查看https://tachyon.atlassian.net/browse/TACHYON-1339和相关补丁。

最简单的方法是以同一个用户运行 tachyon 和您的 spark 作业服务器。

（稍微）困难的方法是移植补丁并重新编译 spark，然后使用打补丁的客户端 sjs。

于 2015-12-11T13:16:23.687 回答