我们正在使用Apache Livy服务器与 Spark 集群进行通信。我们注意到一些语句在执行时出错，之后 livy session 变得不可用。例如，我们将fbprophet用于时间序列模型。fbprophet和pystan产生一些控制台输出。一旦此输出记录在会话中，该语句就会出错。尽管作业继续在集群上执行。之后没有语句运行正确。使用 fbprophet 代码运行语句后的输出
Unrecognized token 'Iter': was expecting 'null', 'true', 'false' or NaN
at [Source: Iter log prob ||dx|| ||grad|| alpha alpha0 # evals Notes ; line: 1, column: 9]
同样，在使用mlflow build-docker命令创建 docker 映像时，它还会生成有关映像创建过程的输出。再次生成此输出后，会话错误输出以下是 build-docker 的输出
Unexpected character ('/' (code 47)): maybe a (non-standard) comment? (not recognized as one since ``````Feature 'ALLOW_COMMENTS' not enabled for parser)
at [Source: /tmp/tmpq6gz1q3t/; line: 1, column: 2]
主要问题是在这样的声明之后会话变得不可用。有人遇到过 Apache livy 的此类问题吗？
我能想到的一种解决方案是抑制 pystan 和 docker 进程的输出，但我无法弄清楚。我们如何抑制输出被登录到 livy 会话？