我正在尝试获取有关 Fi Ware 传感器的所有历史信息。我已经看到 Orion 使用 Cygnus 在 Cosmos 中存储历史数据。这些信息是否可以访问,还是只能使用 IDAS 来获取?
我在哪里可以获得有关此的更多信息?
我正在尝试获取有关 Fi Ware 传感器的所有历史信息。我已经看到 Orion 使用 Cygnus 在 Cosmos 中存储历史数据。这些信息是否可以访问,还是只能使用 IDAS 来获取?
我在哪里可以获得有关此的更多信息?
从学习曲线的角度来看,您可以使用增量方法来使用数据:
使用 Hadoop 命令在“本地”(即登录到集群的头节点)处理原始数据,或者通过使用 WebHDFS/HttpFS REST API “远程”处理。请注意,在这种方法中,您必须实现所需的任何分析逻辑,因为 Cosmos 只允许您管理原始数据。
使用 Hive 以类似 SQL 的方法查询数据。同样,您可以通过调用 Hive CLI 在本地执行此操作,或者通过使用 Hive 库在 Java(还有一些其他语言)中实现您自己的 Hive 客户端来远程执行此操作。
使用 MapReduce (MR) 以实现强大的分析。为此,您必须创建自己的基于 MR 的应用程序(通常使用 Java)并在本地运行它。完成 MR 应用程序的本地运行后,您可以使用 Oozie,它允许您以远程方式运行此类 MR 应用程序。
我的建议是您从 Hive 开始(步骤 1 很简单,但不提供任何分析功能),首先尝试在本地执行一些 Hive 查询,然后远程实现您自己的客户端。如果这种分析对您来说还不够,那么请转到 MapReduce 和 Oozie。
所有有关 Cosmos 的文档都可以在FI-WARE启用程序目录中找到。在本文档中,我将强调: