问题标签 [hortonworks-dataflow]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-nifi - NiFi：尽管在 nifi.properties 中进行了设置，但 content_repository 已满
我看到 content_repository 所在的磁盘分区已满 85%。当我查看存储库文件夹时，我看到超过 2 周的文件碎片。
我的第一个问题是如果分区 100% 满了会发生什么。第二个问题是如何防止分区 100% 满？
我在 nifi.properties 中的设置如下：
我在 NiFi 1.9.1
apache-nifi - 设置 nifi.web.http.host 后无法访问 Nifi Web UI
我对 Nifi Web UI 有疑问。当我设置 nifi.web.http.host=luan-ht01 时，我无法通过公共 IP 在浏览器上访问 Nifi Web UI，例如：http://localhost:8080/nifi/ , http://107.113.193.160:8080 /尼菲。我只能通过主机名访问 Nifi Web。你有什么解决办法？非常感谢。
apache-nifi - 有没有办法对 apache nifi 文件中的某些值进行数学运算？
我正在从 URL 获取一些带有 API 的数值数据，并且我正在寻找一种在将数据放入文件目录之前在 apache nifi 中进行一些数学运算的方法。现在已经谢谢了。
顺便说一句，我正在使用 InvokeHTTP 处理器来获取数据并将文件放在我正在使用 PutFile 处理器的某个地方。我搜索了一些相关网站，但找不到工作方法。
cassandra - 增加来自 NiFi 的 CQL 的请求超时
我在 NiFi 中使用 QueryCassandra 处理器从 Cassandra 获取数据，但我的查询出现超时异常。我想在从处理器运行 CQL 查询时增加请求超时。有没有办法做到这一点，或者我将不得不编写一个自定义处理器？
apache - 我们需要关闭自定义处理器中的 DBCPConnectionPool 对象还是由控制器服务本身处理？
我创建了一个自定义处理器，负责在 mysql 数据库中保存一些记录。为了设置 mysql 数据库，我在我的自定义处理器中使用 DBCPConnectionPool 对象，它可以正确地将数据保存到数据库表中，但是我担心池机制我在保存逻辑完成后不会关闭此连接。这适用于 2 到 3 个流文件，但是当我发送多个流文件时它会正常工作吗？
我正在寻求澄清，因为我当前的流程在较少数量的流程文件下正常工作
apache-nifi - 如何使用 Nifi GetFTP 读取 gdg 格式的 ZOS 文件（path.to.file.in.dotted.dir.format）
我正在尝试使用 nifi GetFTP 读取大型机文件，这些文件以“JS.XXXX.FLAT.XXXXDB”的形式给出，其中 JS、XXX、FLAT 是目录，并且该文件被文件“XXXXDB”的绝对文件路径引用" 而不是 "/" 我们有 "." 这里。
Nifi 无法从系统中提取这些文件，而我可以从常规 ftp、python ftp 客户端读取。
请帮助我知道有没有一种方法可以在 nifi 中读取这些文件。
我尝试过使用 GetFTP、GetSFTP、ListFTP/FetchFTP，但它们似乎都无法从后端识别这些文件。
在 Python 脚本中我尝试了这个并且它有效。
python - 如何将大容量 Elasticsearch 索引转移到另一个存储
我想将Elasticsearch中的大量数据克隆到HDFS。我的索引在一天内增长了大约 1TB 的数据。我使用了 ScrollElasticsearchHTTP 处理器的 Nifi，但性能非常慢（5 分钟大约 32Mb）。我想克隆 1TB/1 天，所以太慢了。
我能做些什么来加快速度？
到目前为止我已经尝试过：
- Nifi：我使用过 ScrollElasticsearchHTTP。
- Logstash：我正在尝试使用 Logstash。
apache-kafka - 从 HDF 3.4 通过 HDP 3.1 安装时如何获得适当的 Kafka 版本
我正在构建一个要安装 HDP 和 HDF 的 Hortonworks 集群。我首先安装了 HDP，然后在其上安装/集成了 HDF。
环境详情：操作系统：Red Hat Enterprise Linux Server release 7.6 (Maipo) 版本：Ambari -2.7.3, HDP - 3.1, HDF -3.4.0
基本上 HDP-3.1 在包中有 kafka 1.0.1，在 HDF 中有 kafka 2.1.0 包可用，我需要 HDF 版本的 Kafka 可用。虽然我从 HDF 安装了 Kafka，但 Ambari 显示了 1.0.1 的 kafka 版本。与 HDF 集成后，添加服务列表中没有显示 Kafka-2.1.0。
我需要知道，如何在集群中安装 Kafka 2.1.0。
另外，尽管安装了 Kafka 2.1.0，但显示的版本是否有可能是 1.0.1。
apache-nifi - 使用记录路径处理 Nifi UpdateRecord 中的数字操作
我在 Nifi 中使用 UpdateRecord 处理器，我需要从一个记录路径 (/amount) 获取值，为其添加一些值并将结果值放入另一个记录路径 (/result)。我找不到任何方法来做到这一点。任何帮助都会很棒！
apache-kafka - Kafka 2.0 - KafkaConnect 连接器中的多个 Kerberos 主体
我们目前正在使用捆绑 Kafka 2.0.0 的 HDF (Hortonworks Dataflow) 3.3.1。问题在于在同一个 KafkaConnect 集群上运行具有不同配置（Kerberos 主体）的多个连接器。
作为此 Kafka 版本的一部分，所有连接器都应该使用相同的消费者/生产者属性，这些属性已在工作者配置中设置，带有 consumer.* 或 producer.* 前缀。但正如我所说，我们有多个用户（应用程序）运行他们自己的连接器，我们不能使用单个 Kerberos 主体来允许读取所有主题。
因此，只是想咨询专家是否有任何方法可以克服这种安全限制。我能想到的选项是 - 为每个 Kafka 用户（不同的主体）运行不同的 Kafka-Connect 集群，但是如果我们在同一节点上运行许多 KafkaConnect 集群会产生什么影响？它会在资源（Java 堆等）方面造成任何影响，还是这是处理此问题的唯一方法（标准程序）。
PS：在以后的版本（2.3+）中，这个问题是通过KAFKA-8265修复的，这些设置可以被覆盖，但即使我们尝试升级到最新的 HDF，我们也只会得到 Kafka 2.1，这无法解决这个问题。
谢谢你的帮助 ！！