问题标签 [streamsets]

我打算做一个课堂项目，并且正在研究一些可以自动化或设置系统之间数据流的技术，发现其中有几个，即 Apache NiFi 和 StreamSets（据我所知）。我无法理解的是它们与可以使用它们的用例之间的区别？我是新手，如果有人能解释一下我将不胜感激。谢谢

我在 CDH 版本 5.7.0 上使用流集

从 HDFS（源）加载文件并在 Solr（目标）上创建记录的示例工作流。验证失败 - SOLR_03 - 无法连接到 Solr 实例：org.apache.solr.common.cloud.ZooKeeperException: : ZooKeeper 连接字符串。

但是，从日志中，我看到它能够连接到 zookeeper，但是在调用 /live_nodes zookeeper api 后以某种方式关闭了会话。

因此，为了验证，我连接到 zookeeper 并查询 live_nodes：

不确定，为什么当流集调用 API 时响应是空的，为什么当它能够连接时它会抱怨“Zookeeper 连接字符串”......有什么帮助吗？

我想知道是否可以为 StreamSets 的火花流提供输入。我注意到 StreamSets 连接器目标https://streamsets.com/connectors/中不支持 Spark 流。

我探索是否有其他方法可以将它们连接起来以获得示例 POC。

我正在Exploring StreamSet Tool，我有一个日志文件n，我需要将日志文件解析到StreamSet工具，我将日志文件从Directory传递给日志解析器，日志解析器的格式是Common log format， n 目标是本地 fs ..当我开始执行时它正在运行但我没有得到输出。任何人都可以帮助我..

是否可以使用 Logstash 作为起点和 Cassandra 作为终点直接构建管道。如果不是，那怎么可能是最好的方法呢？

我试图使用 Streamsets 查询 Oracle 数据库并将数据发布到 Kafka。我在我的 Mac 上下载了 Streamsets 的压缩包并将其解压缩到我的主目录中。在我第一次尝试时开始运行$HOME/streamsets-datacollector-2.1.0.2/bin/streamsets dc，然后我按照此处的说明添加 jdbc 驱动程序，然后按照此处的说明配置我的流集作业。但是，我收到一个错误：JDBC_00 - Cannot connect to specified database: com.streamsets.pipeline.api.StageException: JDBC_06 - Failed to initialize connection pool: java.sql.SQLRecoverableException: IO Error: Bad file descriptor.

有谁知道为 Streamsets Data Collector 下载和安装目标包的方法。我的 SDC 无法访问互联网，因此我不能以标准面板方式进行操作。

我特别想下载 kafka 包并在 Streamsets Data Collector 中手动安装它。

我在 RabbitMQ 中有一个 JSON 格式的队列，我想获取一些数据来修复 StreamSets 中的某些条件（使用流选择器），然后将某个值保存在新数据库（JDBC Producer）中。如何在条件后写入特定值并发送到数据库？

我正在使用 Streamsets 管道从浏览器流式传输数据。因此，为此，我创建了一个具有 HTTP 服务器源的管道，以从浏览器 Javascript 发布数据，并尝试使用 REST 客户端写入该 URL，并成功写入。响应标头已在 SDC.properties 文件中设置。

但是当我尝试使用XMLHTTPRequest从 JavaScript 写入一些数据时，它会为飞行前请求引发错误。下面是 JavaScript 代码：

上述代码执行引发的错误：

XMLHttpRequest 无法加载http://13.68.93.97:8100/。对预检请求的响应未通过访问控制检查：请求的资源上不存在“Access-Control-Allow-Origin”标头。因此，不允许访问源“ http://localhost ”。

任何帮助都会非常有帮助。谢谢..！！

我有兴趣在 Streamsets 上工作。但是，我想集成到我的代码中，而不是在 UI 上工作。它们是如何编写的，我可以访问 Directory 和 file tail 后面的代码吗？如果他们在背后使用 Spark 流式传输或其他技术？