1

我在我的算法中启用了投机属性。有了这个属性,当我执行作业时,在 10 次中,有 8 次作业完成没有任何问题,而且完成速度也很快。但是 2 次应用程序失败并显示以下错误消息。它随机失败。

尽管投机属性由于随机故障而给我们带来了好处,但我还没有在生产中使用此属性的状态。你能帮忙解决这个问题吗?

错误信息:-

"Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException): 
Failed to CREATE_FILE hdfs://.../.spark-staging-c103afe4-4b1d-4105-8e1a-b67ad2347aef/calendar_date=2021-02-28/iteration=2/part-02528-c103afe4-4b1d-4105-8e1a-b67ad2347aef.c000.snappy.orc 
for DFSClient_NONMAPREDUCE_-321811341_100 on 172.22.48.145 because this file lease is currently owned by DFSClient_NONMAPREDUCE_-537211732_100 on 172.22.48.145"
4

0 回答 0