scala - 如何使用 Spark 和 Scala/PySpark 从 Amazon QLDB 读取数据？

Question

我正在尝试创建自定义 ETL 数据管道。我使用 Amazon QLDB 作为我的来源。但我不知道如何使用 Spark-Scala 或 Spark-Python 从 Amazon QLDB 读取数据。

QLDB 文档从以下链接提供驱动程序依赖项。

https://docs.aws.amazon.com/qldb/latest/developerguide/getting-started-driver.html

谁能帮助我。提前致谢。

Answer 1

在 QLDB Python 文档中，您可以通过以下方式从 QLDB 读取数据：

def read_documents(transaction_executor):
    cursor = transaction_executor.execute_statement("SELECT * FROM Person WHERE GovId = 'TOYENC486FH'")

    for doc in cursor:
        print(doc["GovId"]) # prints TOYENC486FH
        print(doc["FirstName"]) # prints Brent

qldb_driver.execute_lambda(lambda executor: read_documents(executor))

这是否告诉您从 QLDB 读取需要做什么？