问题标签 [checkpoint]

当我运行如下代码时：

并观察 Yarn 中的各个阶段，我注意到 Spark 正在执行 DAG 计算 TWICE——一次用于实现 RDD 并缓存它的 distinct+count，然后完全是第二次创建检查点副本。

既然 RDD 已经物化和缓存了，为什么检查点不简单地利用这一点，将缓存的分区保存到磁盘呢？

是否有现有的方法（某种配置设置或代码更改）来强制 Spark 利用这一点并且只运行一次操作，而检查点只会复制东西？

我是否需要“实现”两次？

我创建了一个 Apache Spark Jira 票证，以使其成为功能请求： https ://issues.apache.org/jira/browse/SPARK-8666

我们希望保留图形的快照/版本（或仅保留特定节点的版本）。我们想要切换到任何版本（比如在 git repo 中）。

我们尝试使用 GraphAware 的 ChangeFeed，但这并没有解决我们的目的。

我们还发现了这个 github 项目：https ://github.com/dmontag/neo4j-versioning 。但它太陈旧了。

是否有任何插件可以帮助我们实现这一目标？

Revolution R Open (RRO) 与checkpoint包一起分发，以提高包参考的可重复性。但是，有些用户可能并不关心可重复性，而是真正关心 RRO 提供的性能增强。

checkpoint是否可以在没有包及其功能的情况下使用 RRO ？

我已经使用 twitter 的流用户 api 和 spark 流完成了 twitter 流。这在我的本地机器上成功运行。但是当我以本地模式在集群上运行这个程序时。它只是第一次成功运行。后来它给出了以下例外。

并且火花类路径已经未设置！我每次都必须创建一个新的检查点目录才能使其成功运行。否则会显示上述异常。

谁能帮我解决这个问题？谢谢 ：）

是否有人知道是否可以将进程从基于 arm 的系统迁移到基于 x86 的系统。两者都在运行 linux，但问题在于 ARM 中的进程状态与 x86 不同。

使用 CheckPoint 我正在尝试使用从工作到我的客户端站点的 VPN 访问，这在 Windows 7 和 8 中运行良好。但在 Windows 10 中，我收到错误“ssl network extender service is down...”

当 CheckPoint 尝试连接时，我在请求开始时收到错误消息。

尝试运行模拟为另一个浏览器的 Internet Explorer 无效。

我正在使用使用著名的#PBS 的超级计算机。我的 walltime 是 48 小时，这不足以处理数百万个文件。

我的文件名如下：

所有可能的字母都是“ADEFGHIKLMNPQRSTVW Y”。

我想使用这样的脚本：

但我必须在墙上时间重新启动。用数字我会放一个计数器，但用特定的字母我不知道如何写最后一个文件以从这个检查点开始。喜欢 ：

晚上好，

我想问一个我不确定可以做到的问题。我有一个用 Simple HTML DOM 制作的抓取程序。

该程序从各种网站中提取数据。

所以我的问题是：

如果程序失败，是否可以使程序自动化以自动重启？

而我更进一步......

我将从特定点重新启动程序，例如：

如果程序无法处理 2，我想从检查点重新开始工作。

如果不可能，请告诉我并删除问题。没问题。

非常感谢。

我有过去 8 个月一直在测试的包裹。
今天当我在客户端机器上部署包时，它给出了以下错误：

MainContainer:Error：属性“\Package.Properties[CheckpointFileName]”上的表达式“@[$Project::FilePath]+ @[System::PackageName]+”.xml”的结果无法写入该属性。表达式已评估，但无法在属性上设置。

@[$Project::FilePath] 包含文件路径。在这种情况下，值为：C:\Verfication_Reports\

@[系统::包名]:MainContainer

包成功执行，但在 SSISDB 中生成上述错误。该属性包含检查点文件的路径。请帮忙。

我们将数据文件放在由 Spark 流应用程序监控的 HDFS 路径中。并触发流应用程序将数据发送到 kafka 主题。我们正在停止流式应用程序？在两者之间并再次启动，以便它应该从它停止的地方开始。但它正在再次处理整个输入数据文件。所以我猜检查点没有被正确使用。我们正在使用 spark 1.4.1 版本我们如何使流应用程序从失败/停止的点开始？提前致谢。