我正在尝试使用 boto3 使用以下代码启动胶水开发端点:
import boto3
glueClient = boto3.client('glue', 'us-east-1')
glueClient.create_dev_endpoint(
EndpointName = name,
RoleArn = role,
PublicKey = publicKey,
NumberOfNodes = 2,
GlueVersion= "1.0",
Arguments = {
"GLUE_PYTHON_VERSION": "3"
}
)
但是我收到错误:
Parameter validation failed:
Unknown parameter in input: "GlueVersion", must be one of:
EndpointName, RoleArn, SecurityGroupIds, SubnetId, PublicKey,
PublicKeys, NumberOfNodes, ExtraPythonLibsS3Path, ExtraJarsS3Path,
SecurityConfiguration, Tags, Arguments
我理解;就是说我不能以这种方式指定胶水版本。但是,boto3 的文档另有说明,并声称 GlueVersion 是一个有效参数。是什么赋予了?我需要 spark 2.4,这样它默认为 Spark 2.2。我尝试在Arguments字典中添加 GlueVersion 参数无济于事
编辑:我应该补充一下,我使用的是最新版本的 Boto3;1.14.5