问题标签 [apache-bahir]

当我通过以下命令启动 spark-shell

bin/spark-shell --packages org.apache.bahir:spark-streaming-mqtt_2.11:2.3.0 --repositories http://central.maven.org/maven2/org/apache/bahir/spark-streaming- mqtt_2.11/2.3.0/

发生了两个错误。

url https://central.maven.org/org/apache/bahir/bahir-parent_2.11/2.3.2/bahir-parent_2.11-2.3.2.jar的服务器访问错误（javax.net.ssl.SSLHandshakeException : java.security.cert.CertificateException: 找不到与 central.maven.org 匹配的主题备用 DNS 名称。）

和

url https://central.maven.org/org/apache/bahir/spark-streaming-mqtt_2.11/2.3.2/spark-streaming-mqtt_2.11-2.3.2-javadoc.jar (javax ) 的服务器访问错误.net.ssl.SSLHandshakeException：java.security.cert.CertificateException：找不到与 central.maven.org 匹配的主题备用 DNS 名称。）

在这里，我将存储库作为http://central.maven.org/maven2/org/apache/bahir/spark-streaming-mqtt_2.11/2.3.0/ 但它会自动连接到https://central.maven.org/ org/apache/bahir/bahir-parent_2.11/2.3.2/bahir-parent_2.11-2.3.2.jar不存在于互联网中。

如何在我的 spark-shell 中添加这两个模块？我的目标是构建一个处理多个主题的 spark-streaming mqtt 应用程序。

我正在使用 spark 2.4，并且像这样运行 pyspark：

pyspark 运行成功。（但是当我运行 spark-sql-streaming-mqtt_2.11:2.4.0-SNAPSHOT 时，出现错误）

我正在尝试使用结构化流从 MQTT 代理获取数据。所以，我已经运行了这个

显示的错误：

我尝试流式传输 MQTT 数据一周。但我不认为有办法解决它，它真的很绝望。我没有办法解决吗？谢谢你。

我正在尝试从 MQTT 代理创建 SQL 结构化流：

这些命令看起来不错，但是当我尝试编写流时出现错误：

有人遇到过这样的错误吗？我已经尝试了一切，但没有通过这个。

我正在使用 Spark 2.4.0、Scala 2.11 和 org.apache.bahir:spark-sql-streaming-mqtt_2.11:2.4.0-SNAPSHOT

我想创建一个使用用户名和密码进行订阅的 MQTT 流。我正在使用 apache-bahir 创建 mqtt 流。当我使用 MQTTUtils.createStream() 方法时，它只接受 ssc、brokerurl、topic 和 StorageLevel 作为参数。当我提供用户名和密码时，它显示“无法解析符号 createStream()。

https://bahir.apache.org/docs/spark/2.3.0/spark-streaming-mqtt/

这个页面是我为实现而参考的。

错误消息是无法解析符号 MQTTUtils.createStream()

不确定这是否是发布此问题的正确位置。（如果不是，请道歉。如果是这样，请指出正确的方向。）

我正在尝试编译Apache Bahir以生成 scala 2.11 工件（as mvn clean install -P scala-2.11 -Dscala-2.11 -DskipTests）。尝试这样做时，我遇到了以下构建问题：

在检查common/target目录后，我看到虽然那里有一个包含已scala-2.11编译类文件的子目录，但我没有看到bahir-common_2.11-3.0.0-SNAPSHOT*.jar正在生成适当的文件（虽然bahir-common_2.12-3.0.0-SNAPSHOT*.jar似乎生成得很好）。

我想知道这里是否有人可以提供帮助。提前致谢！

我正在尝试在 Scala 中运行 Spark 应用程序以连接到 ActiveMQ。我为此目的使用 Bahir format("org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourceProvider")。当我Bahir2.2在我built.sbt的应用程序中使用时，它运行良好，但将其更改为Bahir3.0或Bahir4.0应用程序未启动并且它给出了错误：

如何解决这个问题？我可以在我的 Spark-Structured-Streaming 中使用 Bahir 的替代方法来连接到 ActiveMQ 主题吗？

编辑：我的 build.sbt

我正在尝试将我的 spark 应用程序连接到 ActiveMQ，但是在运行应用程序时出现此错误：

我build.sbt的是：

我的申请是：

当我切换到时，spark2.3我没有收到此错误，但我有一些代码专门使用spark2.4. 我应该怎么办？

编辑：我正在添加我通过执行获得的完整堆栈跟踪sbt run

我是 Spark 的初学者，想将数据帧从我的 spark-structured-streaming 应用程序发送到 ActiveMQ 中定义的主题。我怎样才能做到这一点？

编辑：我的版本：activeMQ-5.16, spark-2.4.0, bahir-2.4.0,scala-2.11.11

目前，我能够从一个主题读取数据并将其发送到另一个主题：

但这仅用于测试目的，我想将自定义字符串发送到 ActiveMQ 主题，数据帧模式是id : integer, topic: String, payload : binary, timestamp : timestamp如何将我的字符串转换为binary格式的有效负载并发送它？

我使用带有“org.apache.bahir - spark-sql-cloudant - 2.4.0”的spark 2.4.0 我必须将所有json文件从couchDB下载到hdfs。

总文件大小为 160GB（> 1300 万个文件）运行 5 分钟后的 Spark 作业出现错误

引起：com.cloudant.client.org.lightcouch.CouchDbException：检索服务器响应时出错

增加超时没有帮助，脱落但后来有什么办法摆脱这种情况？

我正在尝试使用 flink 编写从 kafka 到 HDFS 的 ETL 管道。我正在使用 bahir KuduSink 和 PojoOperationMapper 它在开始之前会引发异常。我已经包含了我的代码、pom 和异常堆栈跟踪。我有什么明显的遗漏吗？

管道映射

管道程序

它抛出这个异常

pom.xml