vora - 如何正确地在两个 Spark 控制器之间进行负载平衡

Question

我们正在尝试在连接到 Vora 的两个 Spark 控制器之间进行负载平衡......

我们能够连接并将查询发送到控制器。当结果应该被传递回hana时，就会出现问题，进程挂起并且永远不会完成。

日志状态的最后几行：

17/02/14 14:24:12 INFO CommandRouter$$anon$1: Created broadcast 7 from executeSelectTask at CommandRouter.scala:650
17/02/14 14:24:12 INFO CommandRouter$$anon$1: Starting job: executeSelectTask at CommandRouter.scala:650
17/02/14 14:24:12 INFO CommandRouter$$anon$1: Created broadcast 8 from broadcast at DAGScheduler.scala:1008
17/02/14 14:24:14 INFO CommandRouter$$anon$1: Created broadcast 9 from broadcast at DAGScheduler.scala:1008

是否有特定的配置允许在两个控制器之间进行负载平衡？

Answer 1

进程永远挂起的原因是因为运行 Spark 执行器作业的节点不知道 HANA 主机的主机名，因此永远无法返回结果集。这必须添加到节点的 /etc/hosts 文件中。