intake - 数据持久化到原始数据源

Question

任何人都可以告诉我以下用例是否有意义并且适用于摄入软件组件。

我们喜欢使用 Intake 构建抽象层或 API 服务端点来封装典型的数据操作，例如数据检索和数据持久化回原始数据系统。简而言之，从数据库系统构建 read() 和 save()，例如 GCP BigQuery。

Answer 1

Intake 提供有限的写入功能（目前）：对于每种数据容器类型，仅支持一种格式，用于“持久”（本地存储）和“导出”（或上传）功能。您的 bigquery 数据可能类似于数据框，所以这将是镶木地板。我相信你可以简单地保存到 GCS，并对这些文件运行 bigquery，但我不知道你是怎么做的。

没有一种通用的方法可以将数据写入任何支持读取的后端。