问题标签 [kylo]

我正在尝试在 NiFi 中创建一个模板，就像 kylo 提供的数据摄取模板一样。

基本上我想让用户选择输入数据源，它可以是数据库或文件。如果他选择文件，那么数据库处理器应该会自动被禁用。

我在 NiFi 中创建了一个模板并将其导入 kylo，但是在创建提要时它没有显示提要输入选项。

我怎么能做到这一点。

我只是使用 querycassandra 处理器查询 cassandra 表，但我不明白如何将我的 Json 输出文件作为输入文件传递到 ExecutePyspark 处理器，稍后我需要将我的 Spark 输出数据传递给 Hive。请帮我解决这个问题，谢谢。

我的查询 Cassandra 属性：

Pyspark 属性：

我们已经开始探索和使用 Nifi 作为基本的 ETL 工具进行数据流。了解 Kylo 作为适用于 Nifi 的数据湖特定工具。

是否有任何使用 Kylo 的行业用法和模式，或者有任何文章给出它的用例/偏好，而不是像 Nifi/Spark 这样的自定义 Hadoop 组件？

我按照链接安装 kylo 和 Docker 文件中提到的其他组件。

https://github.com/keven4ever/kylo_docker

但是在运行 docker 时出现以下错误。

java.lang.UnsupportedClassVersionError

需要了解问题出在哪里。我也尝试过最新版本的 Kylo 0.9.0.1，但遇到了同样的错误。

我想知道是否有任何方法可以在 Kylo ( https://kylo.io/ ) 中进行数据清理。我能够让该工具使用数据验证规则指出错误，但我很想知道它是否还可以执行其他功能。例子：

• 删除数据之间的任何空记录
• 检测和删除数据中的重复列

我正在尝试实现 Kylo Stepper-UI 以向 Feed 创建向导添加自定义页面/步骤。唯一可用的教程https://github.com/Teradata/kylo/tree/master/samples/plugins/example-ui-feed-stepper-plugin

它不是很有描述性，我发现很难理解。之前做过这件事的人可以给我一步一步的方法来实现这一点吗？

我正在尝试运行我创建的 pyspark 作业，该作业使用 boto3 库从 s3 下载和上传数据。虽然作业在 pycharm 中运行良好，但当我尝试使用此模板在 nifi 中运行它时https://github.com/Teradata/kylo/blob/master/samples/templates/nifi-1.0/template-starter-pyspark.xml

ExecutePySpark 出现“没有名为 boto3 的模块”的错误。

我确保它安装在我的活动 conda 环境中。

任何想法，我肯定我错过了一些明显的东西。

这是 nifi spark 处理器的图片。

谢谢，蒂姆

当我尝试登录 Kylo 时，它会抛出以下错误，

我的 application.properties 未注释部分看起来像，

我该如何解决这个问题？

当我从文件中使用 kylo 摄取时，nifi 流失败并发生错误，例如： 我猜它可能发生在处理器的 kylo 元服务中： 所以我尝试配置 kylo application.prop 然后我厌倦了重新启动 kylo & nifi，但问题还在继续。

I have a JSON like

Expected output

1st JSON :

2nd JSON:

How do I acheive this by using NIFI? Thanks.