cloudant - 在 DSX 中转换传感器标签数据

Question

我正在努力将现有的数据科学体验 (DSX) 配方转换为使用来自连接的传感器标签设备的数据。然而，该设备的移动应用程序将数据作为字符串而不是数字发送 - 这导致计算 Z 分数的 DSX 配方阻塞。数据来自用作 Watson IoT Platform 的历史数据库的 cloudant 数据库，所以我不能简单地在那里重新格式化它。有没有一种简单的方法来转换 DSX 笔记本中的数据？

Answer 1

只需访问行对象并转换它：

cloudantdata.rdd.map(lambda row : float(row.temperature)).take(10)

编辑 30.1.17：

要直接解决您的问题：

df = cloudantdata.selectExpr("timestamp as timestamp", "data.d.objectTemp as temperature").map(lambda row : (row.timestamp,float(row.temperature)))

这样你就得到一个元组 RDD，恕我直言，它更适合用作 RowRDD

Answer 2

我对 DSX 不熟悉，但您可以使用 node red 来解析来自设备的信息，然后以数字格式将其存储在 cloudant db 中