问题标签 [kylin]

Apache Kylin 看起来是一个很好的工具，可以满足许多数据科学家的需求。这也是一个非常复杂的系统。我们正在开发具有完全相同目标的内部解决方案，即具有低查询延迟的多维 OLAP 多维数据集。在众多问题中，我现在最关心的一个是容错问题。随着大量传入的事务数据，立方体必须增量更新，并且一些长方体在很长一段时间内更新，例如具有年尺度时间维度值的长方体。在这么长的时间里，复杂系统的某些部分肯定会失败，那么系统如何确保所有原始事务记录准确地聚合到方体中一次，不多不少？甚至每个部分都有自己的容错机制，它没有 意思是他们会自动一起玩。为简单起见，我们可以假设所有输入数据都由另一个进程保存在 HDFS 中，并且可以以任何您希望从任何中断（自愿或强制）中恢复的方式“回放”。Kylin 的容错考虑是什么，或者它不是一个真正的问题？

我正在尝试使用 Apache Kylin 构建我的第一个立方体，一切都很好，直到最后一步出现错误：

根据这个问题 https://github.com/KylinOLAP/Kylin/issues/101 发生上述错误是因为 Kylin 试图在 hive 的输出中找到这种模式：“HDFS Read: (\d+) HDFS Write: (\d+) SUCCESS” .

立方体构建教程的正确输出：github.com/KylinOLAP/Kylin/wiki/Kylin-Cube-Build-and-Job-Monitoring-Tutorial：

http://i.imgur.com/71tEeIy.png

我在 Kylin 中的输出看起来已损坏：

http://i.imgur.com/GCbrN03.png

但是，当我检查 Hive 日志时，它看起来还不错：

我正在使用 Hortonworks Sandbox 2.2：

有人可以告诉我为什么我的 kylin 日志预览看起来像这样，首先这可能是最后一步错误的原因吗？

这是我的脚本（boot2docker ssh）。

和返回的错误：

我想知道是否有任何关于没有任何沙箱（如 cloudera、hortonworks）支持的 Apache Kylin 安装的资源。我设法做到了以下几点：

1. 安装 Hadoop 2.6
2. 安装蜂巢
3. 安装 HBase

然后我使用了来自 kylin 站点的二进制文件，到目前为止能够运行它。当我尝试构建一个多维数据集时，问题就开始了，map reduce 作业卡在第 2 步。我在想它是否仍然假设处于沙盒模式并且根本没有向 hadoop 提交作业（hadoop jobtracker 中没有条目）。

所以我需要关于这两个方面的解决方案：1. kylin 在纯 hadoop 设置（无沙箱）中的可能配置 2. 以某种方式启用 kylin 设置以将作业提交给 hadoop。

在HDP 2.3 Sandbox上安装了Kylin v1.0，一切正常，但是日志中记录了这个错误

使用 Java 版本“1.7.0_85”

服务器在 7070 端口成功启动，但由于上述错误，没有显示任何页面。有没有人在设置 Kylin 时遇到并解决了这种类型的错误？如果是这样，请在这里帮助我。提前致谢。

I'm using kylin. It is a data warehouse tool and it uses hadoop, hive and hbase. It is shipped with sample data so that we can test the system. I was building this sample. It is a multi-step process many of the steps are map-reduce jobs. Second step is Extract Fact Table Distinct Columns which is a MR job. This job is failing without writing anything in hadoop logs. After digging deeper I find one Exception in logs/userlogs/application_1450941430146_0002/container_1450941430146_0002_01_000004/syslog

My question is should I copy all dependencies jar of mapper class to all hadoop node? This job succeeds if I restarts kylin server and resume cube building job. This behavior is observed again when restart it after cleaning up everything.

I am using 5 node cluster, each node is 8 core and 30GB. NameNode is running on one node. DataNode is running on all 5 nodes. For Hbase; HMaster and HQuorumPeer is running on same node as NameNode and HRegionServer is running on all nodes. Hive and Kylin are deployed on Master Node.

Version information:

我是麒麟的新手。安装后，我运行sample.sh，然后构建多维数据集，但收到错误消息：

`

问题 975建议kylin.job.hive.database.for.intermediatetable = default。之后，但我也收到此错误消息。

当我desc formatted kylin_intermediate_kylin_sales_cube_desc_1970...在 hive shell 中运行命令时，我可以获得它的格式化信息。它表明该表存在于 Hive 中。为什么 Kylin 不能从 Hive 加载这个表？

1. 我知道 Apache Kylin 每个 OLAP 多维数据集只允许一个事实表。

2. 有没有办法使用 OLAP 分析具有多个事实表的数据库？

3. 或者，我们可以在 Apache Kylin 上的单个作业中同时从多个多维数据集查询吗？

问候阿尼什·迪曼

我最近遇到了 Apache Kylin，很好奇它的用例是什么。据我所知，它似乎是一种工具，旨在解决与超过 10 亿行、聚合、缓存和查询来自其他来源（HBase、Hadoop、Hive）的数据相关的非常具体的问题。我在这个假设中正确吗？

我已经安装了 Hadoop 2.6.0 版、HBase 0.99.0 版、Hive 1.2 版、Kylin 1.5.0 版。

我已经在独立模式下设置了上述所有内容，而在运行 Kylin 时，它会在早期检查 Hadoop、HBase 和 Hive。一切都已安装，但是当我启动 Kylin 时，它给出了 HBase common lib not found 的错误。以下是 Apache Kylin 的日志。

请有人帮帮我。