我正在使用 Apache Beam 的 SparkRunner 对某些数据执行转换（SparkRunner 允许 apache Beam 在其管道之上运行 Apache Spark 引擎）。该应用程序在我的本地机器上运行良好。我创建一个罐子并使用 -
java -jar word-count-beam-bundled-0.1.jar --runner=SparkRunner --inputFile=*.json --output=count
运行我的代码，它按预期工作。但是当我在 AWS Lambda 上上传这段代码并尝试使用 args 运行时 -{ "runner": "SparkRunner", "inputUrl": "s3://s3URi", "outputUrl": "s3://s3URi", "accessKey": "******************", "secretKey": "********************" }
它不起作用。我收到以下错误 - ：
“errorMessage”：“无法分配请求的地址：服务 'sparkDriver' 在 16 次重试后失败（在随机空闲端口上）！考虑为服务 'sparkDriver' 显式设置适当的绑定地址（例如 SparkDriver 的 spark.driver.bindAddress）到正确的绑定地址。",
我需要一些帮助来配置 sparkDriver 的绑定地址。我尝试使用 jar 文件的 s3 URI 发送一个标记为 sparkMaster 的额外参数，但它不起作用。我非常感谢您的帮助。