任何对在 Apache Livy 中实现容错有一些见解的人。比如说 Livy 服务器出现故障,我们如何实现 HA。
问问题
583 次
2 回答
0
如果您希望 Livy 会话持续重启,那么只需在 livy.conf 中设置这些属性
livy.server.recovery.mode = recovery
livy.server.recovery.state-store = filesystem
livy.server.recovery.state-store.url = file:///home/livy
您也可以将 hdfs:// 用于存储。
于 2020-05-20T22:14:56.687 回答
0
实际上,由于这个错误,在负载均衡器后面使用多个 Livy 服务器现在不起作用:https ://issues.apache.org/jira/browse/LIVY-541
相比之下,对于需要高可用性的部署,Livy 支持使用 Zookeeper 进行会话恢复,从而确保在 Livy 服务器出现故障时 Spark 集群仍然可用。重新启动后,Livy 服务器可以连接到现有会话并回滚到失败前的状态。
于 2019-12-30T12:53:11.963 回答