我使用 mongo-spark-connector 在 spark 中构建了一个简单的数据导出器作业。该作业从 mongo 读取集合并将其写入 S3。但是，对于大型集合（2B 文档），无论执行器和执行器核心的数量如何，它都会打开太多的连接。我尝试检查他们的官方文档以查找是否有连接器配置来限制连接数。但他们也没有。有没有办法可以控制从我的 spark 应用程序产生的连接数？
我使用 mongo-spark-connector 在 spark 中构建了一个简单的数据导出器作业。该作业从 mongo 读取集合并将其写入 S3。但是，对于大型集合（2B 文档），无论执行器和执行器核心的数量如何，它都会打开太多的连接。我尝试检查他们的官方文档以查找是否有连接器配置来限制连接数。但他们也没有。有没有办法可以控制从我的 spark 应用程序产生的连接数？