问题标签 [hortonworks-dataflow]

我正在从 MySQL 表中导入数据（仅适用于选定的列）并将其放入 HDFS。完成后，我想在 Hive 中创建一个表。

为此，我有一个schema.sql文件，其中包含整个表的 CREATE TABLE 语句，并且我想仅为我导入的列生成新的 CREATE TABLE 语句。

类似于我grep在下面的示例中所做的事情。

我FetchFile一起使用ExtractText但无法使其工作。如果我将整体架构转换为属性，如何使用 NiFi 处理器甚至表达式语言来实现这一点？

或者有没有更好的方法在导入的数据上创建表？

是否可以在CSVRecordSetWriter控制器服务转义字符中使用 unicode 字符？我使用 '\u0003' 作为分隔符，它没有抛出任何错误，但是在使用 '\u0004' 作为转义字符时，它会抛出错误。

更新

同样，CSVReader控制器服务没有Record Separator属性。这意味着如果我使用除“\n”以外的任何行分隔符编写 csv，我将无法从 NiFi 读取它。:|

根据这个文档，我应该在orzeppelin.livy.principal的配置中找到，但那里没有这样的选项。zeppelinspark2

我有一个 ExecuteSQL 处理器，当服务器关闭或断电时，它总是被禁用，因为 DBCP 连接池的控制器服务关闭，我必须手动打开 DBCP 连接池。我可以自动启用该控制器服务吗？

我刚刚使用 Kerberos 身份验证设置了 NiFi SSL，并将自己添加为初始管理员用户。

登录后，我能够为其他用户创建流程并附加策略和所有内容。但我无法查看Query Provenance任何流。

谷歌搜索后，我发现我必须为每个Process Group或root级别授予单独的权限，以便我的用户查看此信息。

有没有办法将所有权限授予管理员用户？Data Provenance默认情况下，我没有为我启用选项本身，我必须为此添加一个策略。请让我知道我是否配置了错误或它是如何工作的。

NiFi 版本1.8.0

我使用以下文档进行设置：

1. SSL 配置

2. 初始管理员配置Source1 , Source2

我目前的理解是 NiFi 处理器属性特定于该处理器。那么向处理器添加新属性将仅在该处理器中可见，而不会传递给以后的处理器块？

这就是为什么UpdateAttribute有必要在流文件遍历数据流时添加与流文件一起保留的元数据：

那么，允许用户在处理器中添加超出该处理器执行所定义和所需的自定义属性的价值是什么？是否类似于创建可以在其他属性中使用的变量？

如果错误是多余的，请道歉，但我正在寻找具体的解决方案。

我正在尝试使用 swagger rest API 将新版本的架构发布到 Hortonworks 架构注册表。我正在使用 python requests 模块以编程方式发布新版本。

我尝试了之前关于“方法允许异常”的问题所建议的各种方法，例如使用 PUT、POST 或 GET。但没有一个奏效。以编程方式使用其余 api 将新版本的架构发布到 hdf 注册表的正确方法是什么？

我正在研究 hadoop 中的概念验证，我可能会使用 HDP 和 HDF hortonwork 组件设置一个集群。

数据量真的很小，所以如果我没记错的话，每个节点的磁盘量可能不需要超过10 GB。

主节点和从节点的 CPU 数量和 RAM 的考虑标准是什么？

我有一个用例，我需要从另一个流中使用 FlowFile。

据我所知，所有流文件都保存到内容存储库中。

因此，例如，我的第一个流程从 DB 读取数据，执行一些转换并放入 Hive。

我的第二个流程需要获取那些转换后的流程文件并将它们放到另一个地方或执行一些过滤等。

如何从 NiFi 流中的内容回购中获取这些流文件？

我正在尝试使用 ambari 安装 Hortonworks 数据流 3.3。在安装服务之前，它在 Kafka 上失败。我尝试删除并重新创建回购但没有成功。错误说它找不到baseurl。我正在使用下面的baseurl。有没有人遇到过这个问题？ http://public-repo-1.hortonworks.com/HDF/centos7/3.x/updates/3.3.0.0

获取 HDF-3.3 的存储库数据时出错，未找到存储库

2019-04-05 10:47:03,346 -“kafka-broker”组件没有发布版本。这可能表明组件包装有问题。回溯（最后一次调用）：文件“/var/lib/ambari-agent/cache/stacks/HDF/3.3/services/KAFKA/package/scripts/kafka_broker.py”，第 145 行，在 KafkaBroker().execute( ）文件“/usr/lib/ambari-agent/lib/resource_management/libraries/script/script.py”，第351行，在执行方法（env）文件“/var/lib/ambari-agent/cache/stacks/HDF /3.3/services/KAFKA/package/scripts/kafka_broker.py”，第 40 行，安装 self.install_packages(env) 文件“/usr/lib/ambari-agent/lib/resource_management/libraries/script/script.py” ，第 836 行，在 install_packages name = self.format_package_name(package['name']) File "

0555} 2019-04-05 10:46:56,070 - 执行 ['/var/lib/ambari-agent/tmp/changeUid.sh ambari-qa /tmp/hadoop-ambari-qa,/tmp/hsperfdata_ambari-qa,/主页/ambari-qa,/tmp/ambari-qa,/tmp/sqoop-ambari-qa 0'] {'not_if': '(test $(id -u ambari-qa) -gt 1000) || (false)'} 2019-04-05 10:46:56,074 - 跳过执行 ['/var/lib/ambari-agent/tmp/changeUid.sh ambari-qa /tmp/hadoop-ambari-qa,/tmp/hsperfdata_ambari -qa,/home/ambari-qa,/tmp/ambari-qa,/tmp/sqoop-ambari-qa 0'] 由于 not_if 2019-04-05 10:46:56,085 - HDF/3.3/HDF 的存储库- 3.3 不受 Ambari 管理 2019-04-05 10:46:56,085 - HDF/3.3/HDP-UTILS-1.1.0.22 的存储库不受 Ambari 管理 2019-04-05 10:46:56,085 - 存储库[无] {'action': ['create']} 2019-04-05 10:46:56,087 - 包 ['unzip'] {'

获取 HDF-3.3 的存储库数据时出错，未找到存储库

2019-04-05 10:47:03,326 - 调用 [('ambari-python-wrap', u'/usr/bin/hdf-select', 'versions')] {} 2019-04-05 10:47: 03,346 - 调用返回 (1, 'Traceback (最近一次调用最后一次):\n 文件 "/usr/bin/hdf-select", 第 406 行, 在 \n printVersions()\n 文件 "/usr/bin/hdf- select", line 251, in printVersions\n for f in os.listdir(root):\nOSError: [Errno 2] No such file or directory: \'/usr/hdf\'') 2019-04-05 10: 47:03,346 - 'kafka-broker' 组件没有发布版本。这可能表明组件包装有问题。

1 次尝试后命令失败