问题标签 [fiware-cygnus]

我对如何在 Cygnus 订阅 Orion Context Broker 并且 Cygnus 必须在 Cosmos 中持久化数据的架构中持久化数据存在疑问。是否有必要实现自定义 WebHDFS 客户端来将数据从 Cygnus 持久化到 Cosmos，或者如果我们通过 CLI 配置 Cosmos 是否可以自动存储？在阅读了一些文档之后，我不知道这个“最后一步”是否可以通过使用 CLI 的配置来完成，或者是否需要自定义客户端。什么时候不需要自定义 WebHDFS 客户端？

我们发现了一个对我们很重要的问题，我们需要在继续使用 Orion Contex Broker 之前解决。在我们的分布式网络中，我们不能假设链接始终处于打开状态，有时我们会在过去探测到历史值，一旦通信恢复，我们希望将其推送到 contex 代理。这些探针应该在附加测量时间的情况下传送到 Orion，然后通过 Cygnus 发送到 Hadoop。

在查看 Orion API 之后，似乎发布的值被认为是当前的，并且无法判断它们是半小时前探测到的值（例如）。

我们的疑惑：

1）是否可以通过某种方式告诉 Context Broker 推送信息的时间？

2）如果不是，也许这种情况应该通过其他方式解决？除了探针之外，是否已经有一些组件或 IoT Ge 放置了队列探针，直到链接恢复，然后以正确的时间戳将它们推送到中央上下文代理？

谢谢

I have an Orion instance with Cygnus at filab; subcription and notify run fine but I can not persist data to cosmos.lab.fi-ware.org. Cygnus returns this error:

[ERROR - es.tid.fiware.fiwareconnectors.cygnus.sinks.OrionSink.process(OrionSink.java:139)] Persistence error (The talky/talkykar/room6_room directory could not be created in HDFS. HttpFS response: 503 Service unavailable)

This is my agent_a.conf file:

And this is the Cygnus log:

Thanks.

我已经安装了 Cygnus，并且可以使用 MYSQL 正确运行它。我想通过 Orion Context Broker 的通知将到达 Cygnus 的数据发送到 REST 服务器。

我需要创建一个新的接收器来处理来自 Orion 的数据，创建 POST 请求并运行它们。为此，我必须创建新的 Java 文件，并且必须将这些文件放入（根据“添加新接收器开发指南”）：

和：

但我找不到这些地方。我通过命令安装了 Cygnus yum install，所以我不知道如何定位我必须放置这些新 java 文件的位置。

你能帮我解决这个问题吗？提前致谢

我需要用 mysql 格式将数据存储在 cosmos 中，但我做不到。我已经检查过数据是否存储在 cosmos 中的文本文件中，但是当我进入 hive 时，没有任何带有我名字的表。

以下是cygnus的配置。这是对的吗？我的错误在哪里存储在 mysql 表中？

我已经检查了数据是否存储在 cosmos 中的文本文件中，如下所示：

但是当我进入蜂巢时，没有任何桌子上有我的名字。为什么不创建配置单元表？我的 Cygnus 配置文件如下：

我已经使用本指南在 Ubuntu 14.04 上安装了 Cygnus ，当我继续通过（正确填写）启动 cygnus 时：

nohup APACHE_FLUME_HOME/bin/cygnus-flume-ng agent --conf APACHE_FLUME_HOME/conf -f APACHE_FLUME_HOME/conf/cygnus.conf -n cygnusagent -Dflume.root.logger=INFO,LOGFILE [-p <mgmt-if-port>] [-t <polling-interval>] &

我得到这个输出：

问题出在哪里？

版本：0.8.0

会议。文件：

日志：

2015-05-20 18:51:59,475 (main) [INFO - com.telefonica.iot.cygnus.nodes.CygnusApplication.main(CygnusApplication.java:235)] 启动监听端口 8081 的 Jetty 服务器（管理界面）

2015-05-20 18:51:59,519 (main) [INFO - org.mortbay.log.Slf4jLog.info(Slf4jLog.java:67)] 通过登录到 org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) org.mortbay.log.Slf4jLog

2015-05-20 18:51:59,519 (main) [INFO - com.telefonica.iot.cygnus.nodes.CygnusApplication.main(CygnusApplication.java:238)] 启动 Cygnus 应用程序

2015-05-20 18:51:59,528 (Thread-1) [INFO - org.mortbay.log.Slf4jLog.info(Slf4jLog.java:67)] jetty-6.1.26

2015-05-20 18:51:59,544 (lifecycleSupervisor-1-0) [INFO - org.apache.flume.node.PollingPropertiesFileConfigurationProvider.start(PollingPropertiesFileConfigurationProvider.java:61)] 配置提供程序启动

2015-05-20 18:51:59,559 (conf-file-poller-0) [INFO - org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:133)] 重新加载配置文件：/etc/水槽/apache-flume-1.4.0-bin/conf/cygnus.conf

2015-05-20 18:51:59,575 (conf-file-poller-0) [INFO - org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.addProperty(FlumeConfiguration.java:1016)] 处理：mysql-sink

2015-05-20 18:51:59,588 (conf-file-poller-0) [INFO - org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.addProperty(FlumeConfiguration.java:1016)] 处理：mysql-sink

2015-05-20 18:51:59,588 (conf-file-poller-0) [INFO - org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.addProperty(FlumeConfiguration.java:1016)] 处理：mysql-sink

2015-05-20 18:51:59,589 (conf-file-poller-0) [WARN - org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.addProperty(FlumeConfiguration.java:1046)] 指定的属性无效：通道

2015-05-20 18:51:59,592 (conf-file-poller-0) [WARN - org.apache.flume.conf.FlumeConfiguration.(FlumeConfiguration.java:101)] 配置属性被忽略：cygnusagent.channel = mysql-渠道

2015-05-20 18:51:59,593 (conf-file-poller-0) [INFO - org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.addProperty(FlumeConfiguration.java:1016)] 处理：mysql-sink

2015-05-20 18:51:59,593 (conf-file-poller-0) [INFO - org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.addProperty(FlumeConfiguration.java:930)] 添加了接收器：mysql-sink Agent : 天鹅座

2015-05-20 18:51:59,594 (conf-file-poller-0) [INFO - org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.addProperty(FlumeConfiguration.java:1016)] 处理：mysql-sink

2015-05-20 18:51:59,594 (conf-file-poller-0) [INFO - org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.addProperty(FlumeConfiguration.java:1016)] 处理：mysql-sink

2015-05-20 18:51:59,594 (conf-file-poller-0) [INFO - org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.addProperty(FlumeConfiguration.java:1016)] 处理：mysql-sink

2015-05-20 18:51:59,621 (conf-file-poller-0) [WARN - org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.isValid(FlumeConfiguration.java:319)] 'cygnusagent' 的代理配置不包含任何频道。将其标记为无效。

2015-05-20 18:51:59,621 (conf-file-poller-0) [WARN - org.apache.flume.conf.FlumeConfiguration.validateConfiguration(FlumeConfiguration.java:127)] 代理“cygnusagent”的代理配置无效。它将被删除。

2015-05-20 18:51:59,622 (conf-file-poller-0) [INFO - org.apache.flume.conf.FlumeConfiguration.validateConfiguration(FlumeConfiguration.java:140)] 验证后水槽配置包含代理的配置：[]

2015-05-20 18:51:59,622 (conf-file-poller-0) [WARN - org.apache.flume.node.AbstractConfigurationProvider.getConfiguration(AbstractConfigurationProvider.java:138)] 找不到此主机的配置：cygnusagent

2015-05-20 18:51:59,640 (Thread-1) [WARN - org.mortbay.log.Slf4jLog.warn(Slf4jLog.java:76)] 失败 SocketConnector@0.0.0.0:8081: java.net.BindException:地址已被使用

2015-05-20 18:51:59,652 (Thread-1) [WARN - org.mortbay.log.Slf4jLog.warn(Slf4jLog.java:76)] Server@62526d1d: java.net.BindException: 地址已在使用中

2015-05-20 18:51:59,652 (Thread-1) [FATAL - com.telefonica.iot.cygnus.http.JettyServer.run(JettyServer.java:62)] 运行管理界面的致命错误。详细信息=地址已在使用中

2015-05-20 18:51:59,669 (conf-file-poller-0) [INFO - org.apache.flume.node.Application.startAllComponents(Application.java:138)] 开始新配置：{ sourceRunners:{} sinkRunners：{} 频道：{} }

2015-05-20 18:51:59,723 (conf-file-poller-0) [INFO - org.apache.flume.node.Application.stopAllComponents(Application.java:101)] 关闭配置：{ sourceRunners:{} sinkRunners：{} 频道：{} }

2015-05-20 18:51:59,724 (conf-file-poller-0) [INFO - org.apache.flume.node.Application.startAllComponents(Application.java:138)] 开始新配置：{ sourceRunners:{} sinkRunners：{} 频道：{} }

我有一个每小时传输数据的气象站。在那一小时内，它会进行四次录音（每 15 分钟一次）。在我目前的情况下，我正在使用attr_persistence=row将数据存储在 MySql 数据库中。

使用行模式，我得到默认生成的列：

但是我的气象站向我发送了以下数据：

这些 attrValue 在数据库中表示为字符串。

有没有办法让三个测量值保持在行模式并将 timeRecorded 切换到列模式？如果没有，那么我的选择是什么？

这一切的重点是查询时间记录值，但只要它是字符串，我就无法查询日期。

附带说明：让气象站在记录后立即发送数据（每 15 分钟）是不可能的，首先是因为我需要节省电池电量，更重要的是因为在帖子出现问题的情况下，它将一次发送所有录音。

因此，如果一整天没有发送任何数据，气象站将一次发送所有 24*4 读数......

如何配置 Cygnus 将数据保存在 SQL 数据库中？安装 Orion 和 Cosmos 后，我尝试配置 cygnus 并将数据保存在 mysql 数据库中。可能吗？

我测试了 Orion 设置 Cygnus 实例作为参考的基本订阅机制，它运行良好：一旦 Orion 接收到我的实体的 updateContext，它就会向 Cygnus 发出通知，将数据保存到默认的 mySQL 数据库中。

但是，如果我将以下标头添加到订阅中：

fiware-service: sat Fiware-ServicePath: /proto1

为了将数据保存在另一个 mySQL 数据库中，Orion 接受订阅但不会向 Cygnus 发出任何通知。

我尝试将相同的标头添加到 updateContext REST 调用中，但没有成功。任何想法？

PS：

猎户座 0.22 版

天鹅座 0.8 版