我正在尝试提交一个非常简单的应用程序，它包括从一个输入大文件（大约 500 GO）创建两个 rdd，减去标题（第一行），用索引压缩它们，通过小修改将它们映射到键值然后将它们保存为文本文件
我能够在 spark web UI 上看到作业的进度，最后 2 个作业由于此错误而失败，请告诉我它的原因是什么以及如何解决它
由于阶段失败而中止作业：阶段 2.0 中的任务 4897 失败 1 次，最近一次失败：阶段 2.0 中丢失任务 4897.0（TID 4914，本地主机）：java.io.IOException：Aucun espace disponible sur le périphérique at java.io。 FileOutputStream.writeBytes(Native Method) at java.io.FileOutputStream.write(FileOutputStream.java:345) at org.apache.spark.storage.TimeTrackingOutputStream.write(TimeTrackingOutputStream.java:58) at java.io.BufferedOutputStream.flushBuffer( BufferedOutputStream.java:82) 在 java.io.BufferedOutputStream.flush(BufferedOutputStream.java:140) 在 net.jpountz.lz4.LZ4BlockOutputStream.finish(LZ4BlockOutputStream.java:243) 在 net.jpountz.lz4.LZ4BlockOutputStream.close(LZ4BlockOutputStream .java:175) 在 org.apache.spark.serializer.DummySerializerInstance$1.close(DummySerializerInstance.java:65) 在 org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1296) 的 org.apache.spark.storage.DiskBlockObjectWriter$$anonfun$close$2.apply$mcV$sp(DiskBlockObjectWriter.scala:108) ) 在 org.apache.spark.storage.DiskBlockObjectWriter.commitAndClose(DiskBlockObjectWriter.scala:132) 在 org.apache.spark.shuffle.sort 的 org.apache.spark.storage.DiskBlockObjectWriter.close(DiskBlockObjectWriter.scala:107)。 ShuffleExternalSorter.writeSortedFile(ShuffleExternalSorter.java:188) at org.apache.spark.shuffle.sort.ShuffleExternalSorter.closeAndGetSpills(ShuffleExternalSorter.java:410) at org.apache.spark.shuffle.sort.UnsafeShuffleWriter.closeAndWriteOutput(UnsafeShuffleWriter.java: 204) 在 org.apache.spark.scheduler 的 org.apache.spark.shuffle.sort.UnsafeShuffleWriter.write(UnsafeShuffleWriter.java:164)。ShuffleMapTask.runTask(ShuffleMapTask.scala:79) at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:47) at org.apache.spark.scheduler.Task.run(Task.scala:85) at org .apache.spark.executor.Executor$TaskRunner.run(Executor.scala:274) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor .java:615) 在 java.lang.Thread.run(Thread.java:745)第1145章第1145章
驱动程序堆栈跟踪：
附言; 有一句法语句子：
Aucun espace disponible sur le périphérique :表示此设备上没有可用空间，
好吧，我认为这是原因，但我不明白哪个设备以及如何解决它