0

我通过以下方式在 AWS ec2 实例中的 ipython 中启动了 pyspark：

IPYTHON=1 ./spark/bin/pyspark

Ipython 启动，一切似乎都正常了。然而，现在发生的事情是，即使我什么都没做，我也会得到这个持续的反馈流：

15/02/19 23:47:34 INFO client.AppClient$ClientActor: Executor updated: app- 
20150219234524-0001/46 is now LOADING
15/02/19 23:47:34 INFO client.AppClient$ClientActor: Executor updated: app-   
20150219234524-0001/38 is now EXITED (Command exited with code 1)
15/02/19 23:47:34 INFO cluster.SparkDeploySchedulerBackend: Executor app-
20150219234524-0001/38 removed: Command exited with code 1
15/02/19 23:47:34 ERROR cluster.SparkDeploySchedulerBackend: Asked to remove 
non-existent executor 38
15/02/19 23:47:34 INFO client.AppClient$ClientActor: Executor added: app-
20150219234524-0001/47 on worker-20150219205401-ip-172-31-57-   
73.ec2.internal-40221 (ip-172-31-57-73.ec2.internal:40221) with 4 cores
15/02/19 23:47:34 INFO cluster.SparkDeploySchedulerBackend: Granted executor 
ID app-20150219234524-0001/47 on hostPort ip-172-31-57-73.ec2.internal:40221 
with 4 cores, 12.7 GB RAM

我仍然可以运行命令。只需按几次 enter 即可调出命令行。但是，不断滚动的大量文本使事情变得困难。有没有办法抑制这种反馈？

4

1 回答 1

0

这样做的两种方法：

  • 将 log4j 级别设置为OFF，最简单的方法是在您的spark-defaults.conf示例中设置它：

spark.driver.extraJavaOptions -Dspark.driver.log.level=OFF

  • 将它通过管道传输到 /dev/null 或者以通常的方式可能是一个更好的文件。

前者你也可以通过命令行设置。

于 2015-03-01T11:47:02.730 回答