1

我正在使用 AWS Glue 从 mysql 数据库中摄取。我知道在使用 pyspark-JDBC 摄取数据时可以使用自定义查询。基于爬虫摄取时是否同样适用?现在我正在使用这个:

datasource =glueContext.create_dynamic_frame.from_catalog(database="db_name",table_name="table_name")

有什么方法可以让我摄取,而不是整个桌子,只是其中的一部分?就像使用select * from table where column_x > value.

4

0 回答 0