apache-spark - 适用于 Fitbit 数据的 Spark Streaming

Question

我正在使用 Fitbit Oauth 2.0 来访问 fitbit 数据。我将这些数据存储在 SQL 数据库中，之后，我使用 Spark SQL 来分析数据。如果我必须使用 Spark Streaming，在进行 OAuth 之后如何将数据摄取到 Spark？

Answer 1

有多种方法可以做到这一点

1. 您可以将 fitbit 数据格式化为结构化数据，然后将其转储到 HDFS/Kafka/Socket 并启动相应的 HDFS/Kafka/Socket 接收器。

2. 您可以编写自己的自定义接收器以直接使用 OAuth 或从 SQL db 接收数据。