问题标签 [fiware-cosmos]

我正在尝试在公共 Cosmos 实例中连接到 Hive，但它失败了。

当我尝试通过 Java 中的 DriverManager 获取连接时失败。它给了我这个错误：

所以我决定在 Cosmos 实例中与我的用户连接，然后尝试启动 Hive 服务器，我收到此错误：

那么Hive有什么问题？

它在几周前工作并且代码没有更改，所以我不知道问题出在哪里。

我在 cosmos fiware lab 实例上执行 Hive 时遇到了一些问题。

首先，登录机器后，我在 Hive 命令行中输入，我得到以下错误（我看到了与此相关的其他问题，但我找不到解决方案）：

但是，我可以运行像 SELECT * FROM table; 这样的查询。

另一方面，如果我尝试运行其他更具体的查询，例如仅显示列字段，则 map reduce 作业开始运行，并导致以下错误：

欢迎任何帮助或建议。

谢谢。

我们正在开发一个 FiWare 城市传感器网络，它：

1. 传感器内部实时处理数据，并每 N 分钟将其平均值发布到我们的服务器；
2. 一些与报告的平均值有关的服务器端数学运算，这将生成新字段或已报告字段的平均值（例如，按天计算平均值）；
3. 最后，将有一个 Wirecloud 组件显示包含每个传感器位置的地图，以及显示传感器获取的几个字段的图。

此外，传感器可以发出警报，每个服务器和传感器访问必须是安全的，服务器数据库的可扩展性是未来的关注点。目前我们有这个架构（OCB 代表 Orion Context Broker）：

“Webservice”和“Processing”组件是自制的，但在阅读了更多关于 FIWare 组件（特别是IOT 堆栈）的信息后，我意识到我们可能会在此处集成更多组件。

你用什么来解决这样的问题？它看起来相当通用（安全属性发布、存储、后处理和值图）。

I am trying to persist my Orion data into the public cosmos.lab.fi-ware.org instance using Cygnus. Cygnus is up and running and the HDFSSink part of my /usr/cygnus/conf/agent_1.conf looks like this:

# OrionHDFSSink configuration cygnusagent.sinks.hdfs-sink.channel = hdfs-channel cygnusagent.sinks.hdfs-sink.type = com.telefonica.iot.cygnus.sinks.OrionHDFSSink cygnusagent.sinks.hdfs-sink.enable_grouping = false cygnusagent.sinks.hdfs-sink.backend_impl = rest cygnusagent.sinks.hdfs-sink.hdfs_host = cosmos.lab.fi-ware.org cygnusagent.sinks.hdfs-sink.hdfs_port = 14000 cygnusagent.sinks.hdfs-sink.hdfs_username = myUsernameInCosmosLabInstance cygnusagent.sinks.hdfs-sink.hdfs_password = myPasswordInCosmosLabInstance cygnusagent.sinks.hdfs-sink.oauth2_token = myTokenForCosmosLabInstance cygnusagent.sinks.hdfs-sink.hive = true cygnusagent.sinks.hdfs-sink.hive.server_version = 2 cygnusagent.sinks.hdfs-sink.hive.host = cosmos.lablfi-ware.org cygnusagent.sinks.hdfs-sink.hive.port = 10000 cygnusagent.sinks.hdfs-sink.hive.db_type = default-db

I add a new subscription with Cygnus as the reference endpoint and I send an update to previously created NGSIEntity, but nothing appears in my cosmos.lab.fi-ware.org instance. When looking at /var/log/cygnus/cygnus.log I cant find nothing useful, and I find some Java errors.

I am using Orion v. 0.28 and Cygnus v. 0.13.

Cosmos 公共实例是否有任何变化，或者 Hive 服务器已关闭？

谢谢！

多发性硬化症

我配置了Cygnus实例。我正在通过Orion Context Broker发布信息，但现在我想检查一切是否正常。

我怎么能确保一切都很好？

我正在尝试通过 Hive JDBC 驱动程序将 SpagoBI 连接到 Cosmos。连接有效，但我需要添加 jar (json-serde-1.3.1-SNAPSHOT-jar-with-dependencies.jar) 才能在查询时执行 map reduce。

问题是 spago bi 不支持对数据集的定义进行多个查询，因此我无法在执行实际选择之前添加 jar（分号被解释为 jar 路径的一部分）

我能怎么做？有没有办法确定添加罐子，这样我每次查询配置单元时都不必再次添加它？这是从 spagobi 访问 cosmos 数据的推荐方法，还是我不知道有其他方法？

谢谢！

我们设法整合了 idas-cygnus-orion 流程，一切都运行良好。（感谢您的帮助弗朗西斯科）

现在我们想将 Cosmos 添加到集成中，我已经配置了 Cygnus，并在此处发布了您的答案（ Cosmos 配置中添加了以*开头的部分）

当我启动 Cygnus 时，我们收到此错误消息

我们的路径中有这个 grouping_rules.conf 文件，但是在里面，所有内容都被注释了（因为我们不需要这个文件来进行 CKAN 集成）我们是否需要为 Cosmos 编辑这个文件？（如果是，如何？）

你能在这个问题上帮助我们吗？

非常感谢奥马尔

我在 Github 上关注本指南，但无法运行步骤 5中提到的示例 mapreduced 作业。

我知道这个文件不再存在：

/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar

而且我知道现在可以在这里找到相同的文件：

/usr/lib/hadoop-0.20/hadoop-examples-0.20.2-cdh3u6.jar

所以我的电话如下：

curl -v -X POST "http://computing.cosmos.lab.fiware.org:12000/tidoop/v1/user/$user/jobs" -d '{"jar":"/usr/lib/hadoop-0.20/hadoop-examples-0.20.2-cdh3u6.jar","class_name":"WordCount","lib_jars":"/usr/lib/hadoop-0.20/hadoop-examples-0.20.2-cdh3u6.jar","input":"testdir","output":"testoutput"}' -H "Content-Type: application/json" -H "X-Auth-Token: $TOKEN"

输入目录存在于我的 hdfs 用户空间中，其中有一个名为 testdata.txt 的文件。我的 hdfs 用户空间中不存在 testoutput 文件夹，因为我知道它会产生问题。

当我执行这个 curl 命令时，我得到的错误{"success":"false","error":1}不是很具有描述性。我在这里缺少什么吗？

我们正在尝试将报告部署到我们的 SpagoBI 服务器，以通过 Hive 显示来自 FIWARE 全球 Cosmos 的 HDFS 的数据。
该报告在 SpagoBI Studio 本地成功生成，在 BIRT 报告查看器中显示 HDFS 数据（一旦添加了 Hive 驱动程序的 JAR）。这意味着与全局 FIWARE Lab Cosmos 实例的连接已正确配置。

问题是我们无法在 SpagoBI Server 中部署相同的配置。我们已经像在 SpagoBI Studio 中一样配置了数据源，将 Hive 驱动程序 JAR 添加到了，/opt/spagobi/All-in-One-SpagoBI-5.1-1feb2d97af/lib但是当我们尝试通过 Web 界面测试数据源时，我们得到以下异常：

数据源的配置如下：

并且使用的驱动JARs等价于通过以下Maven依赖获得：

有谁知道为什么连接失败？

相关问题：

• 将 spagobi 连接到 cosmos
• Fiware Cosmos Hive 授权问题