intake - GCP BigQuery 上的数据源

Question

我试图寻找任何可以支持 GCP BigQuery 的现有摄入组件，例如 Driver、Plugin。鉴于如果不能支持，请告知如何实现intake.source.base.DataSource的子类化

Answer 1

Pandas 可以使用函数read_gbq从 BigQuery 中读取数据。如果您只对一次读取整个结果感兴趣，那么这就是您所需要的。您需要执行类似sqlsource的操作，它调用 pandas 以在_get_schema方法中加载数据。

目前没有用于 dask 的 GBQ 阅读器，因此您无法在内核外或并行中加载，但请参阅此线程中的讨论。