2

我在 qubole 上运行的 apache spark 1.6.3 中有一个代码，它将数据写入 s3 上的多个表（镶木地板格式）。在写信给表格时，我不断收到java.io.FileNotFound exception.

我什至在设置：spark.sql.parquet.output.committer.class=org.apache.spark.sql.parquet.DirectParquetOutputCommitter.
但这似乎并不能解决我的问题。此外，在检查日志时，我发现异常是由于_temporary location being missing. 我不明白为什么 _temporary 位置即使在使用DirectParquetOutputCommitter. 此异常不断发生。

如果有人知道在qubole中解决这个问题，请告诉我。谢谢。

4

1 回答 1

1

S3 不是一个一致的文件系统；它是一个最终一致的对象存储，其列表操作往往会短暂滞后于已创建的文件。

任何假设书面数据在您查看时明显“存在”的代码都可能在这个世界上崩溃。对不起

于 2017-11-27T10:59:06.723 回答