问题标签 [fiware-cosmos]

我想知道将从 Twitter Streaming API 获得的大量推文转储到 COSMOS 以运行非常简单的 MR 作业的最佳方法应该是什么。

我正在考虑将收集文档转换为 CSV，可能每行一个，然后将它们 scp 转换为 COSMOS。但我不确定我是否需要 HIVE 在那里运行 MR 作业，或者我可以以更手动的方式运行该作业。我正在考虑为此使用 Python，我更喜欢不必使用 Java。

谢谢

我正在使用来自源代码的 cygnus 构建（最新版本 0.8.2）。我已将其配置为将 orion 订阅发送到 cosmos.lab.fi-ware.org。如果我只使用 cosmos-user 和 cosmos-password 它会失败：

所以我必须使用oauth-token。以这种方式它工作成功，但我的问题是，在这种情况下，我应该手动刷新访问令牌并更改 agent.conf 文件吗？

提前致谢

我试试这个命令

我从服务器收到 curl(52) Empty 回复。我的文件存在于 HDFS 上。

从字面上看：

https://ask.fiware.org/question/84/cosmos-error-accessing-hive/

正如引用的 FIWARE Q&A 条目中的答案所暗示的那样，问题现在已经解决。它在这里：https ://ask.fiware.org/question/79/cosmos-database-privacy/ 。但是，似乎出现了与该解决方案相关的其他问题，即：通过 ssh 连接，键入 hive 命令导致以下错误：https ://cloud.githubusercontent.com/assets/13782883/9439517/0d24350a-4a68- 11e5-9a46-9d8a24e016d4.png无论错误消息如何，hiveSQL 查询都可以正常工作（通过 ssh）。

当远程启动完全相同的 hiveSQL 查询（每一个查询在两周前完美运行）时，即使在荒谬的时间窗口（10 分钟）内，请求也会超时。最基本的命令（'use $username;'、'show tables';）也会超时。

（thrift 客户端是：https ://github.com/garamon/php-thrift-hive-client ）

由于 Cosmos 的使用是我们项目不可分割的一部分，因此最重要的是它是由修复引起的时间问题还是远程可用性的永久性更改（无法识别文档中的相关更改）。

我在 FILAB 中部署了一个 Orion 实例，并配置了 Cygnus inyector 以便在 Cosmos 中存储信息。

但是......让我们想象一个实体数量急剧增加的场景。在这个假设场景中，一个 Orion GE 实例是不够的，因此需要部署更多实例。

什么是规模程序？考虑到最大配额是：

VM 实例：5 VCPU：10 硬盘：100 GB 内存：10240 MB 公共 IP：1

我了解配额可能会有所变化，但免费帐户限制是多少？

Cosmos 头节点的硬盘限制是多少？（理论上5GB配额）

是否可以使用单个公共 IP 部署更多 Orion Context Broker 实例，或者是否有必要请求多个公共 IP？如何？

总而言之，我要求提供有关拟议方案的扩展程序和免费帐户限制（可能的最大配额）的信息。

先感谢您。亲切的问候。

拉蒙。

你能帮我安装 cosmos-gui 吗？我认为您是 cosmos 背后的开发者之一？我对吗？我们已经安装了 Cosmos，现在我们要安装 cosmos-gui。在下面的链接中，我找到了安装指南： https ://github.com/telefonicaid/fiware-cosmos/blob/develop/cosmos-gui/README.md#prerequisites

在“先决条件”小节下写着

需要几个 sudoer 用户，一个在存储集群内，另一个在计算集群内。通过这些用户，cosmos-gui 将远程运行某些管理命令，例如创建新用户、提供 HDFS 用户空间等。通过这些 sudoer 用户的访问将通过私钥进行身份验证。

以上是什么意思？我必须为计算和存储集群创建一个 sudo 用户吗？为此，是否需要安装 MySQL 数据库？

在“安装 GUI”子章节下。</p>

在继续之前，请记住添加 GUI 访问的 Namenode 的 RSA 密钥指纹。如果您第一次尝试 ssh 访问 Namenodes，这些指纹会自动添加到 /home/cosmos-gui/.ssh/known_hosts。

我对上面的事情没有任何意义。能不能给出一步一步的计划？

我希望你能帮助我。

JH

I want to install Cosmos. I have installed Apache-Hadoop 2.6 with a single node and my next move was install cosmos-gui.

So I follow the official installation guide - https://github.com/telefonicaid/fiware-cosmos/blob/develop/cosmos-gui/README.md#installation but npm start command doesn't work.

Error:

my conf/cosmos-gui.json

Using WebHDFS API of Cosmos generates an expired certificate response.

Using this url: https://cosmos.lab.fi-ware.org:13000/

we can see certificate seems expired

Do we need updated certificate or any way to go around this problem?

我们使用 cygnus 配置了上下文代理，而我们遇到的问题非常奇怪。

当我在 Context Broker 中插入一种新类型的元素时会发生这种情况，并且我们订阅了将该元素发送到 cosmos。Cygnus发送正常，并在cosmos中创建了对应的hdfs文件，但是cosmos尝试创建Hive表时出现错误。

这就是天鹅座日志所说的。

几个小时后，我们收到以下消息：

在这两个事件之间，所有应该添加到 hdfs 中的动作，在我们得到错误之前不会被添加。

天鹅座版本是：0.8.2

我们正在使用开放的宇宙。

使用此 python 脚本通过 Hive 查询 COSMOS：

生成以下错误：

回溯（最后一次调用）：文件“libra.py”，第 10 行，在 cur.execute("select * from glaquidara_mazzi") 文件“/Library/Python/2.7/site-packages/pyhs2/cursor.py”中，第 64 行，在执行 raise Pyhs2Exception(res.status.errorCode, res.status.errorMessage) pyhs2.error.Pyhs2Exception: '编译语句时出错：FAILED: RuntimeException org.apache.hadoop.ipc.RemoteException: org.apache.hadoop .hdfs.server.namenode.SafeModeException：无法创建目录 /tmp/hive-root/hive_2015-10-07_13-32-30_348_3807878262746902303-3. Name node is in safe mode.\nResources are low on NN. Safe mode must be turned off manually.\n\tat org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:2140)\n\tat org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:2114)\n\tat org.apache.hadoop.hdfs.server.namenode.NameNode.mkdirs(NameNode.java:892)\n\tat sun.reflect.GeneratedMethodAccessor586.invoke(Unknown Source)\n\tat sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)\n\tat java.lang.reflect.Method.invoke(Method.java:597)\n\tat org.apache.hadoop.ipc.RPC$Server.call(RPC.java:557)\n\tat org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1439)\n\tat org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1435)\n\tat java.security.AccessController.doPrivileged(Native Method)\n\tat javax.security.auth.Subject.doAs(Subject.java:396)\n\tat org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1278)\n\tat org.apache.hadoop.ipc.Server$Handler.run(Server.java:1433)\n'

这有什么问题？