spark-structured-streaming - 尝试为 spark 结构化流执行 s3-sqs qubole 连接器

Question

我正在尝试关注https://github.com/qubole/s3-sqs-connector并尝试加载连接器，但似乎连接器在 maven 上不可用，并且在手动生成 buiold 时未加载 sqs 类。有人可以指导我吗？

谢谢， 迪佩什

Answer 1

更新：

S3-SQS 连接器现已在 maven Central 上发布。 https://mvnrepository.com/artifact/com.qubole/spark-sql-streaming-sqs

您现在应该可以使用它了。如果您遇到任何问题，请与我们联系。

---

不幸的是，s3-sqs-connector 在 spark-packages 中的注册仍在等待中。我们将尝试尽快在 maven Central 中直接发布该软件包，但至少需要几天时间。

同时，如果需要，您可以克隆存储库并自己构建 jar。