0

我正在尝试通过 boto3 库创建和运行 AWS 胶水爬虫。爬虫正在处理 s3 文件夹中的 JSON 文件。爬虫成功完成，当我检查日志时没有错误，但它没有在我的胶水数据库中创建任何表

这不是权限问题，因为我能够通过 CFT 创建相同的爬虫，并且当我运行它时，它会按预期创建表。我在使用 boto3 运行的代码中使用与 CFT 相同的角色来创建它。

已尝试使用 boto3 create_crawler() 和 run_crawler()。尝试在从 CFT 创建的爬虫上使用 boto3 update_crawler() 并更新 s3 目标路径。

 response = glue.create_crawler(
        Name='my-crawler',
        Role='my-role-arn',
        DatabaseName='glue_database',
        Description='Crawler for generating table from s3 target',
        Targets={
            'S3Targets': [
                {
                    'Path': s3_target
                }
            ]
        },
        SchemaChangePolicy={
            'UpdateBehavior': 'UPDATE_IN_DATABASE',
            'DeleteBehavior': 'LOG'
        },
        TablePrefix=''
    )
4

1 回答 1

0

你确定你已经在胶水客户端（胶水对象创建）中传递了正确的区域。

一旦我复制代码并忘记更改区域并花费数小时弄清楚为什么没有错误时它没有创建表。最终我发现该表是在另一个区域中创建的，因为我在将代码复制到新区域时忘记更改区域。

于 2019-06-09T06:35:33.513 回答