问题标签 [kylo]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
51 浏览

kerberos - Kylo 安全实施,Kylo 中的 OpenLDAP 实施与 Kerberos

我们正在尝试将 Kylo 与 OpenLDAP 和 Kerberos 集成,但似乎 Kylo 文档中没有建议进行配置更改。

https://kylo.readthedocs.io/en/latest/security/KyloKerberosSPNEGO.html

文档中只建议了 auth-ad 更改,但 OpenLDAP 没有任何建议。

任何人都可以提出一些解决方案吗?提前致谢 :)

0 投票
1 回答
115 浏览

apache-nifi - 从 Ni-Fi 处理器获取 Kylo Feed ID

我正在尝试从 Kylo 创建的 NiFi 模板实现中的处理器获取 Feed ID。

换句话说,我如何知道当前处理器所在的提要 ID?

尝试使用 GetFeedMetadata 处理器,但它仅返回第一个提要详细信息,而不是处理器所属的当前提要。

${feedJson:jsonPath('$.id')}

返回第一个提要数据而不是当前提要

0 投票
0 回答
36 浏览

apache-nifi - nifi 和 kylo 都处于集群模式

我正在尝试在集群模式下运行 Kylo 和 Nifi。

  1. 我使用的 Nifi 没有与 Kylo 一起打包。我已经分别安装了 nifi 和 kylo。
  2. 我能够在集群模式(2 个服务器)下运行 Nifi,并用 LB 将它作为前端。LB 有自己的 DNS。我能够访问它,并且两个 nifi 节点相互识别。
  3. 我能够以集群模式安装 kylo,同样的方式,我用 LB 将它作为前端。
  4. nifi 和 kylo 都是 https。我正在使用 SAN 证书,一切正常。
  5. 虽然我的基础设施不是面向互联网的(内联网),但我已经购买了 CA 证书(不使用自签名)。
  6. 现在我正在尝试将 Kylo 与 Nifi 集成,因此我以更好的方式控制流程。
  7. 我现在正处于必须将 kylo 服务与 nifi 集成的步骤。

现在的问题是。

  1. 我正在尝试制作 nifi 的 kylo 洁具,所以我可以使用它。根据我的假设,kylo 两个节点(k1 和 k2)都应该指向 nifi 的 LB,而不是直接指向 nifi 的两个节点(n1 和 n2)。
  2. 我正在遵循(但不完全)下提到的步骤,因为我没有将它与我的情况联系起来https://kylo.readthedocs.io/en/v0.10.0/security/ConfigureNiFiWithSSL.html

  3. 我想知道如何生成密钥库 kylo 服务,似乎工具包方式不起作用:(。它确实生成了文件,但仍然没有与 Nifi 通信。

一件奇怪的事情,我能够连接 K1-N1 和 K2-N2(k1,k2 是 Kylo 的 2 个节点,n1,n2 是 nifi 的 2 个节点)。但我无法将 Kylo 连接到 Nifi 的 LB。除非我这样做,否则我认为我不是在做纯 HA。

我在 UI 上遇到的错误是,后端也没有帮助。它只是显示无法连接。虽然我能够从浏览器访问 LB dns,但它工作得非常好。=>在此处输入图像描述

0 投票
2 回答
153 浏览

apache-nifi - 导入 Sqoop 列名问题

我有一个关于 Kylo 和 Nifi 的问题。使用的 Kylo 版本是0.10.1 使用的 Nifi 版本是1.6.0

当我们为数据库摄取创建提要(使用数据库作为源)时,在 Additional Options 步骤中没有规定输入源表列名称。

但是,在 Nifi 方面,我们使用 Import Sqoop 处理器,它有一个名为Source Fields的必填字段,它要求输入列,用逗号分隔。如果没有完成,我们会得到一个错误:

错误工具。导入工具:导入失败:我们发现没有列名的列。如果使用自由格式查询导入,请验证您是否在查询中输入了所有列名(如果您使用列转换,请考虑添加子句 AS)

对于我们的要求,我们希望 Import Sqoop 将表中的所有列自动获取到此属性中,而无需在 Nifi 级别进行手动干预。是否有任何选项可以自动在后台包含数据库表的所有列?或者是否有任何其他可能性在 UpdateAttribute 处理器中给出这个值?

0 投票
2 回答
467 浏览

teradata - Teradata Kylo 产品发生了什么变化?

我的问题是:

  • 项目死了吗?
  • 是否有任何取代 Kylo 的开源活跃项目?
0 投票
0 回答
180 浏览

apache-nifi - apache nifi 1.12.0 在添加 kylo 处理器时显示无效组件

在此处输入图像描述

当我尝试在 nifi 中添加 kylo 处理器 .nars 时,它将显示为带有注释的图像

缺少经过处理器验证的 aginist 任何属性均无效且处理器的类型为 com.thinkbiganalytics.v2.spark.ExecuteSparkJob 但这不是有效的处理器类型

提前感谢任何帮助

0 投票
0 回答
18 浏览

java - 无法使用 Kylo 目录解析数据源:com.thinkbiganalytics.spark.file.metadata:{}

从 kylo wrangler 运行这个我得到

无法使用 Kylo 目录解析数据源:com.thinkbiganalytics.spark.file.metadata:{} java.lang.ClassNotFoundException:com.thinkbiganalytics.spark.file.metadata

有人可以知道这个 com.thinkbiganalytics.spark.file.metadata 类吗?

0 投票
1 回答
23 浏览

azure-active-directory - Kylo Azure AD 集成

我正在尝试在 kylo 中添加一个插件模块,以便使用 azure AD 登录应用程序。我们在将请求重定向到登录页面时面临挑战。

0 投票
1 回答
174 浏览

scala - 需要帮助从 Spark 2.0 迁移到 Spark 3.1 - 可累加到 AccumulatorV2

我正在努力添加Spark 3.1Scala 2.12支持Kylo Data-Lake Management Platform

我需要有关迁移以下功能的帮助:

可以在这里这里找到

我正在添加一个新的 Maven 模块kylo-spark-catalog-spark-v3来支持apache-spark:3.1.2scala:2.12.10在撰写本文时。

我在以下方面遇到了麻烦:

  1. 创建一个实例AccumulatorV2作为类的弃用通知Accumulable不是很清楚。这是我对第一个功能的尝试-未编译
  1. 在第二个函数中创建 UDF 的实例,UserDefinedFunction似乎抱怨它不能被实例化为它的抽象类。这是我对第二个功能的尝试-编译但不确定是否有意义:

您能否就如何解决这个问题向我提出建议,或者是否有与此案相近的文档。