3

团队，目前我正在研究 spring-xd 并用作数据分析和纱线作业的运行时容器。

我的问题是

1) 我可以利用与 spring-xd 相同的环境设置吗？
2）从文档中，我读到它可以部署为微服务，是否使用嵌入式驱动程序进行流处理？如果它使用嵌入式驱动程序，我可以使用它在集群环境中部署，并使用与 spring-xd 相同的基础架构吗？
3) 是否有为 Apache Spark 构建的特定包装器？

我的环境：Spark 1.6.1、Hadoop 2.7.2、zookeeper 3.6.8、redis 3.2、spring-xd-1.3.1

对此特定查询的任何帮助将不胜感激。

4

1 回答 1

4

我可以利用与 spring-xd 相同的环境设置吗？

Spring Cloud Data Flow (SCDF) 依赖于spring-cloud-deployer SPI，并且有 Cloud Foundry、Apache YARN、Apache Mesos 和 Kubernetes 的实现。鉴于您已经拥有一个使用 YARN 的 Hadoop 集群，您可以配置 SCDF 服务器的YARN 实现。

是否使用嵌入式驱动程序进行流处理？

不清楚你的意思。如果您指的是 jdbc-drivers；具体来说，当jdbc用作接收器应用程序时，我们确实嵌入了对 OSS 友好的驱动程序，是的。

如果它使用嵌入式驱动程序，我可以使用它在集群环境中部署，并使用与 spring-xd 相同的基础架构吗？

也许对＃1的回答涵盖了这一点。您可以利用相同的基础设施并使用Ambari 插件配置 YARN SCDF-server 。

是否有为 Apache Spark 构建的特定包装器？

我们将 Spark 作为客户端和集群应用程序。您可以在 SCDF 中注册它们以构建任务/批处理管道。

于 2016-06-03T14:27:00.607 回答