问题标签 [apache-falcon]

我应该从事集群镜像工作，我必须将类似的 HDFS 集群（相同的主从集群）设置为现有集群，并将数据复制到新的集群，然后运行相同的作业。

我已经阅读了有关 falcon 作为馈送处理和工作流程协调工具的信息，它也用于 HDFS 集群的镜像。有人可以告诉我 Falcon 在 Hadoop 生态系统中的作用是什么，特别是它如何帮助镜像。我希望在这里了解所有 facon 在我的 Hadoop 生态系统 (HDP) 中提供的功能。

用例是：我需要将我的所有数据从 HDFS 集群复制到具有相同主从设置的另一个集群，我将释放以前的集群并开始在新集群中运行我的作业。

我已阅读有关 Apache Falcon 和 Wandisco 不间断 Hadoop 的信息，这有助于此镜像。但是我不确定当我将它们作为我的生态系统的一部分时它们提供的其他优势（这会更有优势？-这取决于我的用例，但我想知道是否有任何特别的优势）。根据您对它们的经验，能否提供 Falcon 与 Wandisco 的类比？

我无法使用 Apache Falcon 将数据从一个 Hadoop 集群备份到另一个集群。

从一个集群到另一个集群的数据备份有哪些方法？

是否有任何流程实体或 oozie 工作流需要使用 Apache Falcon 将数据从一个集群备份到另一个集群？

我正在尝试在实际集群中实现HotonWorks 的数据管道示例。我的集群中安装了 HDP 2.2 版本，但在进程和数据集选项卡的 UI 中出现以下错误

除了 HBase、Kafka、Knox、Ranger、Slider 和 Spark 之外，我的所有服务都在运行。

我已阅读描述集群、提要和流程定义的各个标签的falcon 实体规范，并修改了提要和流程的 xml 配置文件，如下所示

集群定义

提要定义

原始电子邮件提要

已清理电子邮件Feed

流程定义

原始电子邮件摄取过程

清理电子邮件进程

我没有对 ingest.sh、workflow.xml 和 id.pig 文件进行任何更改。它们存在于 hdfs 位置 /user/falcon/apps/ingest/fs（ingest.sh 和 workflow.xml）和 /user/falcon/apps/pig（id.pig）。此外，我不确定是否需要隐藏的 .DS_Store 文件，因此没有将它们包含在上述 hdfs 位置中。

摄取.sh

工作流.xml

id.猪

我不确定HDP 示例的流程是如何发生的，如果有人能澄清这一点，我将不胜感激。

具体来说，我不明白提供给 ingest.sh 的参数 $1 的来源。我相信它是存储传入数据的 hdfs 位置。我注意到 workflow.xml 有标签<argument>${feedInstancePaths}</argument>。

feedInstancePaths 从哪里获得它的值？我想我收到了错误，因为提要没有存储在正确的位置。但这可能是一个不同的问题。

用户 Falcon 对 /user/falcon 下的所有 hdfs 目录也有 755 权限

任何帮助和建议将不胜感激。

我正在尝试了解Falcon Distributed Cluster的设置。

我有集群 A 和集群 B，它们都有 Falcon 服务器（以及 namenode、oozie、hive 等）。现在，要安装 Prism，最好的主意是什么？我应该将它安装在其中一个集群（与 falcon 服务器不同的节点）还是另一台机器上？如果 Prism 设置在第三个集群（单节点）上，它是否也应该运行 namenode、oozie 等组件？

当我尝试在 Falcon 中提交集群实体时出现错误。

提交时输出错误：

您好，我正在尝试执行此示例Hadoop 数据管道...这里我正在运行一个 Flume 代理，其中 Flume 将文件从本地复制到 HDFS & Falcon 负责处理数据文件和处理数据后，Hive 处理血统将可用在 Apache Atlas 中...但是 Oozie 作业失败，正如我在 Oozie Web UI 上看到的...我浏览了 Oozie & Falcon 的日志以及 Oozie 的日志，我没有看到错误的主要原因，但是我看到这 2 个错误：Oozie 错误代码：E1100和错误，原因：主类 [org.apache.oozie.action.hadoop.ShellMain]，退出代码1 ..我找不到任何解决方案来解决这个问题。 ...这个错误的根本原因是什么？谢谢你

我使用 falcon UI 创建了一个提要，但它没有显示在流程创建步骤的下拉列表中。通过命令行列出提要时，它也没有显示..

但是 Falcon UI Search 中提供了该提要。

注册提要以在 Falcon 中获取提要所涉及的任何其他步骤。

您好，我正在尝试在 Kerberised 集群上使用 falcon CLI 和 falcon 服务用户来安排 falcon 进程。我收到以下错误消息：

Falcon 应用程序日志显示如下：

有什么建议么？谢谢。

Falcon 目前支持 oozie、pig、hive、spark 4 种引擎。是否可以添加另一个引擎？我知道我可以在 oozie 中运行我自己的脚本。但我想要的是在 apache falcon 中添加我自己的自定义引擎。任何人都可以请指导我。

谢谢