问题标签 [fiware-cosmos]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
136 浏览

oauth - Oauth2 Cygnus 和 Cosmos Sink 似乎不起作用

自上次更新以来,我一直无法使用 Cygnus 将我的数据上传到 Cosmos。我知道我们现在需要使用 Oauth2 令牌来做到这一点。所以我做了令牌的请求。

我得到一个令牌,但随后我尝试检查令牌:

甚至这个:

每次,对于每个命令和我尝试过的所有令牌,我都会得到这个:

用户令牌未授权

接下来,我尝试将 oauth 参数放入我的 cygnus conf 文件中,并且每次都会发生这种情况:

所以是的,目前我有点卡住了。你有什么信息可以让我解决这个问题吗?

编辑 :

这是我的 Cygnus 配置文件,可能问题出在此处

现在我得到这个错误(和其他错误)。似乎找不到水槽和处理程序

感谢您阅读。

0 投票
1 回答
135 浏览

fiware - 通过 Cygnus 将实时数据持久化到 Cosmos 缓慢且不可靠

Cygnus 版本是 0.8.2,我正在使用来自 FI-Ware Lab 内的 FI-Ware 实例的 Cosmos 公共实例。

我有 8 个将更新推送到 IDAS 的传感器设备。有些更新每秒一次,有些更新每 5 秒一次,平均每秒更新 8,35 次左右。我创建了对 Orion(0.22 版)的订阅,以向 Cygnus 发送 ONCHANGE 通知。

Cygnus 配置为将数据持久化到 Cosmos、Mongo 和 MySQL。我使用了标准配置,其中 1 个源(http-source)、3 个通道(hdfs-channel mysql-channel mongo-channel)和 3 个接收器(hdfs-sink mysql-sink mongo-sink)。

mysql-sink 和 mongo-sink 近乎实时地持久化数据。但是,hdfs-sink 真的很慢,每秒只有大约 1,65 个事件。由于 http-source 每秒接收大约 8,35 个事件,hdfs-channel 很快就满了,您会收到日志文件的警告。

副作用是,如果 http-source 无法将通知注入 hdfs-channel,它也不会将其注入 mysql-channel 和 mongo-channel,并且该通知完全丢失。它没有坚持到任何地方。

您可以通过启动 3 个单独的 Cygnuse(一个用于 Cosmos,一个用于 MySQL,一个用于 MongoDB)来部分规避该问题,这些 Cygnuse 具有不同的 http-source 端口、不同的管理接口端口并为每个 Cygnus 添加订阅。MySQL 和 MongoDB 的持久化不受 hdfs-channel 变满的影响,但 Cosmos 的持久化仍然存在问题。添加更多 hdfs-sinks 可能会对我们的 8 个传感器设备起到作用,但如果您添加更多传感器设备或者它们发送更多更新,您只是在推迟问题。

这两个问题有点无关,但我还是在问......

问题一:坚持宇宙真的有那么慢吗?

我知道与持久化到本地数据库相比,幕后发生了很多事情,并且我们正在使用资源有限的 Cosmos 的公共实例,但仍然如此。它甚至意味着要以这种方式与实时数据一起使用(我们的 8 传感器设备测试甚至相当适中)?当然,也可以创建一个接收器,将数据推送到一个文件,然后将一个简单的文件上传到 Cosmos,但这有点麻烦。我想没有这样的文件接收器可用?

问题2:如果通知不能注入到hdfs-channel(我猜是任何通道),它是否也没有被添加到其他通道并且被完全丢弃?

0 投票
1 回答
385 浏览

java - JDBC 和 Hive 查询错误 10 或 9

5 月,我创建了一个 Java servlet,它允许我在 Cosmos 上查询我的配置单元表。

在迁移到 cygnus 0.8.2 之前,我的数据被推送到一个名为“hostabee”的表中,我仍然可以从我的 Java 应用程序中查询该表。但是现在会自动为推送到 cosmos 的每个实体创建一个表。起初,我没有看到任何问题,这甚至使我的项目更简单。但我无法从我的应用程序中查询新表。相反,我得到了这个错误

或者这个

表“guillaume_jourdain_hostabee_hives_a_hive_column”存在,我可以通过 ssh 连接从 hive 查询它。你知道我的问题来自哪里吗?如有必要,我可以向您展示我的部分代码。

0 投票
1 回答
851 浏览

hadoop - Hadoop httpFS 总是返回 HTTP/1.1 404 Not Found

我对 hadoop 的 HttpFS 服务有问题。当我尝试 curl 一些资源时:

我得到的回应是:

但是当我尝试对 webhdfs 做同样的事情时,它可以工作:

Httpfs 服务在端口 14000 上运行,我已经通过 nmap 进行了检查。任何建议或想法可能是什么问题?

0 投票
0 回答
414 浏览

hadoop - 蜂巢端口已关闭

我想远程启动 Hive 查询。

为此,我使用了 hive-jdbc 库(0.14.0 版本)和 hadoop-core(1.2.1 版本)。

几周前,我启动了以下代码:

它有效,但现在我收到此错误:

我看到现在 Hive 端口 (10000) 已关闭。

所以,我想知道使用远程配置单元客户端访问 cosmos 的正确方法是什么,或者我是否必须更改从 cosmos 获取数据的方式。

0 投票
1 回答
84 浏览

fiware - cosmos 身份验证和身份管理器集成的问题

我想将 cosmos-auth 与 Idm GE 集成。node.js 应用程序的配置是:

当我将 HTTP POST 请求直接发送到 IDM GE 到 url

使用所需的参数,我得到了好的结果:

但是当我卷曲 cosmos-auth node.js 应用程序时

我得到下一个结果:

有没有人遇到过类似的事情?可能是什么问题呢?

0 投票
1 回答
469 浏览

fiware - PEP 代理配置文件,用于集成 IDM GE、PEP 代理和 Cosmos 大数据

我有一个关于 PEP 代理文件的问题。我的 keystone 服务在 192.168.4.33:5000 上运行。我的 Horizo​​n 服务在 192.168.4.33:443 上运行。

我的 WebHDFS 服务正在 192.168.4.180:50070 上运行,我打算在 192.168.4.180:80 上运行 PEP 代理

但我没有得到的是我应该用什么来代替 config.account_host?在 keyrock 管理器的 mysql 数据库中,有一个带有“idm”密码的“idm”用户,并且我通过身份管理器上的 curl 发出的每个请求都有效。

但是有了这个配置:

当我启动 pep-proxy 时:

我得到下一个错误:

0 投票
2 回答
144 浏览

hadoop - Fiware Cosmos Hive Authorization Issue

I'm using a shared instance of Fiware Cosmos (meaning I don't have root privileges). I have until today successfully acessed and managed tables in hive both remotely using jdbc, and Hive CLI. But now I'm getting this error when starting Hive CLI:

I can however perform select and create in the Hive CLI. If I then try to access Hive remotely, I get this:

I didn't do any changes in code or commands before the errors appeared, and after googling around I haven't found any working solutions.

If anyone can guide me to where the problem is, or how to find it, or even better how to solve it, I'd be grateful.

Thanks in advance!

0 投票
1 回答
198 浏览

hive - 我的 Hive 客户端停止使用 Cosmos 实例

我有一个 Hive 客户端(用 Java 编写),它与 FIWARE Lab 的 Global Instance of Cosmos 配合得很好。但是,它不再工作了,客户端似乎无法连接(超时)。

服务器端有什么变化吗?

0 投票
2 回答
94 浏览

fiware - Cosmos-gui 应用程序在使用 keystone 进行身份验证后崩溃

我有个问题。我的 cosmos gui 应用程序在尝试使用 keystone 授权后崩溃。Horizo​​n 应用程序运行在https://192.168.4.33:443上,而 cosmos-gui 运行在http://192.168.4.180:81上。我的 gui 配置文件如下所示:

},

在 Horizo​​n 内部,我使用参数注册了应用程序 Cosmos Big data:

所以之后我启动 cosmos-gui 应用程序,点击登录后它会将我重定向到这个 url:

没关系。但是,当我点击按钮授权时,它会将我带到这个网址:

在那一刻 cosmos-gui 应用程序崩溃了,我从日志中得到的一切都是这样的:

在 keystone 方面,一切看起来都不错。这是来自 keystones 日志: