我在我的 Thrift 服务器 (Spark 3.1.2) 中启用spark.sql.thriftServer.incrementalCollect以防止 OutOfMemory 异常。这工作正常，但我的查询现在真的很慢。我检查了日志，发现 Thrift 正在查询 10.000 行的批次。
INFO SparkExecuteStatementOperation: Returning result set with 10000 rows from offsets [1260000, 1270000) with 169312d3-1dea-4069-94ba-ec73ac8bef80
我的硬件将能够处理其中的 10 到 50 倍。
此问题和此文档页面建议设置spark.sql.inMemoryColumnarStorage.batchSize，但这不起作用。
是否可以配置值？