问题标签 [kylo]

这个问题说明了一切。我该如何做以下事情之一：

• 如何限制一个处理器集群范围内运行的并发任务数量？
• 我运行的节点是否有任何唯一且简短的 ID？我可以使用这些 ID 附加到要加载的数据库表名（请参阅下面的详细信息）并为每个连接提供一个独占表。

我有一个 NIFI 集群和一个自写的专用处理器，它通过 JDBC 将大量数据加载到数据库中（每秒最多 20Mio 行）。它使用了一些数据库供应商特定的调优技巧，在我的特定情况下非常快。其中一个技巧需要为每个连接加载一个独占的空表。

目前，我的处理器在 NIFI-Cluster 中为每个节点打开一个连接（它从DBCPConnectionPool. 集群中有大约 90-100 个节点，我将获得 90-100 个连接——所有这些连接都同时批量加载数据。

我正在使用 NIFI 1.3.0.0

非常感谢任何帮助或评论。抱歉没有显示任何代码。大约 700 行并没有真正帮助解决这个问题。但我打算把它放在 Git 上，并作为开源项目 Kylo 的一部分。

我正在尝试使用 nifi 中可用的数据摄取模板将 kafka 集成到 kylo 中。我正在生成 JSON 文件并在 kafka 中创建了一个主题。同样已经在 nifi 的 kafka-consume 处理器中配置并添加到现有的数据摄取模板中。在 kylo 中创建提要后，流程不会超出 MergeContent 处理器，并且会失败。而且我也无法在 kylo 服务日志中看到任何错误。

任何人都可以请给出这个问题的解决方案。

[![Nifi 日志][kylo UI]][Kylo 日志]

我已经创建了具有 3 个处理器的 Nifi 工作流程。附件是详细信息。问题是当我在 Nifi 中运行工作流时它运行良好，但是当我在 Kylo 中导入相同的模板并通过提要运行它时，它给出了错误。Kylo 模板似乎有问题。你能帮我解决这个问题吗？同样在 Nifi 日志中，我看不到任何错误。

谢谢，

凯洛工作失败

尼菲工作流程

凯洛模板-1

当我尝试通过数据摄取和标准摄取模板摄取 json 数据时，我遇到了一个问题。初始化提要后，它将进入失败提要。我可以看到创建了 json 属性的配置单元表，但看不到 hdfs 中的文件夹结构。

请在附件中找到 kylo 的日志和屏幕截图。在此处输入图像描述

2017-09-07 00:00:01,725 INFO [Timer-Driven Process Thread-8] ctnprKyloProvenanceEventReportingTask KyloProvenanceEventReportingTask[id=17ff8df2-015d-1000-7741-d474a8a3404d] Kylo 尚不可用于处理请求。此任务将退出并等待其下一个计划间隔。2017-09-07 00:00:01,725 信息 [定时器驱动的进程线程 8] ctnprKyloProvenanceEventReportingTask KyloProvenanceEventReportingTask[id=17ff8df2-015d-1000-7741-d474a8a3404d] 报告任务中止。最后记录的事件是：6269977 2017-09-07 00:00:06,730 错误 [定时器驱动的进程线程 3] ctnprKyloProvenanceEventReportingTask KyloProvenanceEventReportingTask[id=17ff8df2-015d-1000-7741-d474a8a3404d] 检查 Kylo 是否可用时出错。请确保 Kylo 已启动并运行。2017-09-07 00:00:06,731 信息 [定时器驱动的进程线程 3] ctnpr KyloProvenanceEventReportingTask KyloProvenanceEventReportingTask[id=17ff8df2-015d-1000-7741-d474a8a3404d] Kylo 还不能处理请求。此任务将退出并等待其下一个计划间隔。2017-09-07 00:00:06,731 信息 [定时器驱动的进程线程 3] ctnprKyloProvenanceEventReportingTask KyloProvenanceEventReportingTask[id=17ff8df2-015d-1000-7741-d474a8a3404d] 报告任务中止。上次记录的事件是：6269977 2017-09-07 00:00:07,004 INFO [Write-Ahead Local State Provider Maintenance] org.wali.MinimalLockingWriteAheadLog org.wali.MinimalLockingWriteAheadLog@8f5565c 检查点在 207 毫秒内有 14020 个记录和 0 个交换文件（ Stop-the-world 时间 = 2 毫秒，清除编辑日志时间 = 0 毫秒），最大事务 ID 76071 2017-09-07 00:00:11,735 错误 [Timer-Driven Process Thread-6] ctnpr KyloProvenanceEventReportingTask KyloProvenanceEventReportingTask[id=17ff8df2-015d-1000-7741-d474a8a3404d] 检查 Kylo 是否可用时出错。请确保 Kylo 已启动并运行。2017-09-07 00:00:11,736 INFO [Timer-Driven Process Thread-6] ctnprKyloProvenanceEventReportingTask KyloProvenanceEventReportingTask[id=17ff8df2-015d-1000-7741-d474a8a3404d] Kylo 尚不可用于处理请求。此任务将退出并等待其下一个计划间隔。2017-09-07 00:00:11,736 信息 [定时器驱动的进程线程 6] ctnprKyloProvenanceEventReportingTask KyloProvenanceEventReportingTask[id=17ff8df2-015d-1000-7741-d474a8a3404d] 报告任务中止。最后记录的事件是：6269977 2017-09-07 00:00:16,742 错误 [Timer-Driven Process Thread-1] ctnpr KyloProvenanceEventReportingTask KyloProvenanceEventReportingTask[id=17ff8df2-015d-1000-7741-d474a8a3404d] 检查 Kylo 是否可用时出错。请确保 Kylo 已启动并运行。2017-09-07 00:00:16,742 INFO [Timer-Driven Process Thread-1] ctnprKyloProvenanceEventReportingTask KyloProvenanceEventReportingTask[id=17ff8df2-015d-1000-7741-d474a8a3404d] Kylo 尚不可用于处理请求。此任务将退出并等待其下一个计划间隔。2017-09-07 00:00:16,742 信息 [定时器驱动的进程线程 1] ctnprKyloProvenanceEventReportingTask KyloProvenanceEventReportingTask[id=17ff8df2-015d-1000-7741-d474a8a3404d] 报告任务中止。最后记录的事件是：6269977 2017-09-07 00:00:21,749 错误 [定时器驱动的进程线程 5] ctnpr KyloProvenanceEventReportingTask KyloProvenanceEventReportingTask[id=17ff8df2-015d-1000-7741-d474a8a3404d] 检查 Kylo 是否可用时出错。请确保 Kylo 已启动并运行。2017-09-07 00:00:21,749 INFO [Timer-Driven Process Thread-5] ctnprKyloProvenanceEventReportingTask KyloProvenanceEventReportingTask[id=17ff8df2-015d-1000-7741-d474a8a3404d] Kylo 尚不可用于处理请求。此任务将退出并等待其下一个计划间隔。2017-09-07 00:00:21,749 信息 [定时器驱动的进程线程 5] ctnprKyloProvenanceEventReportingTask KyloProvenanceEventReportingTask[id=17ff8df2-015d-1000-7741-d474a8a3404d] 报告任务中止。最后记录的事件是：6269977 2017-09-07 00:00:25,600 错误 [定时器驱动的进程线程 7] ctnifi.v2.init。InitializeFeed InitializeFeed[id=2b1f1ef0-4e16-1bd6-f57d-9191210e2a13] InitializeFeed[id=2b1f1ef0-4e16-1bd6-f57d-9191210e2a13] 由于 org.springframework.web.client.HttpServerErrorException 处理失败：500 内部服务器错误；回滚会话：org.springframework.web.client.HttpServerErrorException：500 内部服务器错误 2017-09-07 00:00:25,602 错误 [Timer-Driven Process Thread-7] ctnifi.v2.init.InitializeFeed org.springframework.web .client.HttpServerErrorException: org.springframework.web.client.DefaultResponseErrorHandler.handleError(DefaultResponseErrorHandler.java:94) 的 500 内部服务器错误 ~[spring-web-4.2.4.RELEASE.jar:4.2.4.RELEASE] 在 org .springframework.web.client.RestTemplate.handleResponse(RestTemplate.java:641) ~[spring-web-4.2.4.RELEASE.jar:4.2.4.RELEASE] at org.springframework.web。

• 我已经从 Kylo 安装目录中为 kylo UI 上的“data_ingest”设置了一个默认模板 - http://localhost:8400

• 使用模板，我创建了一个 Feed 以从数据库 (MySQL) 中获取数据，并在 Feed 详细信息中指定数据库/表/列。

• 数据库是从下拉列表中选择的，我在 /opt/kylo/kylo-services/application.properties 中给出了所有配置

  /li>

尽管如此，我的工作还是因以下错误而失败 -

我是否缺少任何导致此错误的配置？

我在线程“main”java.lang.NoClassDefFoundError: org/xerial/snappy/SnappyInputStream 中出现异常，在标准摄取模板中的验证和拆分记录处理器中出现错误，我无法解决。

csv 和 json 数据都会发生这种情况。

谁能帮我解决这个问题。

我想扩展 Kylo 用户界面。从文档中，我了解到我可以使用插件机制来添加新功能，我指的是此处提供的示例。

我已经构建了这个示例代码并将生成的 jar 文件部署到 /opt/kylo/kylo-services/plugin 文件夹并重新启动了 kylo-services。

但我没有看到 UI 有任何变化。根据我的理解，左侧导航窗格中应该有一个新组，但 kylo UI 中没有 UI 级别更改。

我正在使用 dladmin 用户 ID 和日志（kylo-ui 和 kylo-services）确实没有表明任何错误。

在哪里可以查看插件是否真的被 kylo 拾取？哪些日志告诉我这个插件发生了什么？任何建议都会有很大帮助。

谢谢加纳

我正在通过 Kafka 流式传输增量网络日志，然后存储到 HDFS 中。我的网络日志包含部分信息，即。如果我的配置单元表架构中有 10 列，我可能通过日志仅接收 6 个字段，其值被修改。现在在更新/合并到配置单元表期间，6 个字段被新值修改，其余 4 个被 Null 替换。目前我正在为这些任务探索 Kylo/Nifi 框架。我正在 Hive 中寻找一种方法，使这 4 列保持与以前状态相同。

我对使用 Kylo 和 UI 结构的方式有疑问。

根据网站http://kylo.readthedocs.io/en/v0.8.3/developer-guides/KyloDeveloperGuide.html?highlight=angular2它说：

Kylo UI 的大部分依赖于 AngularJS 和 AngularJS Material，但少数部分已经升级到 Angular 2 和 Covalent。新插件应该用 Typescript 编写并使用 Angular 2 以实现未来的兼容性。

它说新插件应该用 angular2 和 typescript 编写，但所有示例和核心组件都是用 AngularJS 编写的。

一个例子是这个：https ://github.com/Teradata/kylo/tree/master/samples/plugins/example-module/example-module-ui

我想知道该模块的 Typescript 和 Angular2 替代方案，包括路由，是否有任何实时示例？

我尝试在我现有的 HDP 2.6.2 Hadoop 集群上安装 Kylo。我关注Kylo Document但是当我尝试启动 Kylo 时，它说正在启动，但几秒钟后启动失败并且状态变为停止。

由于限制，我分享了 Kylo 服务日志的重要部分。

在 mysql 实例上，kylo 数据库：

没用。

我可以通过以下方式访问 mysql 实例：mysql -u kylo -p