apache-spark - spark JDBC sink 在节点级别是事务安全的吗？

Question

我有一个关于在分区级别打开事务的问题。如果我使用 jdbc 连接器写入数据库（postgess），那么在工作节点上的分区特定写入是否是事务安全的，即

如果一个worker节点在写数据的时候宕机了，这个partition/worker节点相关的行会被回滚吗？

Answer 1

分区上有事务边界（见https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/jdbc/ JdbcUtils.scala#L588 )

但是，如果在任务被标记为成功之前出现故障，例如网络问题或超时，那么您可能仍然会收到多次写入