问题标签 [kylin]

我们在第一步构建流式立方体失败：从kafka保存数据，这是输出日志：

谁能告诉我如何解决？

Kylin 2.1.0 在安装了 HBase 1.2.6 和 Hive 2.1.1 的 Hadoop 2.7.0 集群上启动并运行。

我们还在另一台机器上安装了 Pentaho BI 服务器 6.1.0.1.196（mondrian 3.11 和 saiku）。

我们希望 Pentaho 能够访问在 Kylin 中创建的多维数据集并使用 Saiku Analytics

确实在互联网上参考了一些建议，但无法实现我的目标 https://github.com/mustangore/kylin-mondrian-interaction

对此的任何帮助都非常感谢。

我们有一个“遗留”的基于 SQL Server 的应用程序，它保存 OLTP 数据（销售）：

• OLTP 数据结构非常复杂
• 我们仍然必须将其作为报告来源
• OLTP 结构的报告非常慢
• 所以我们准备并保留实际的“OLAP”视图，比如每天的销售额，每个视图实际上是 MS SQL 数据库中的一个表

主要问题：当我们需要一个新视图时，扫描所有现有的 OLTP 数据需要花费大量时间。

现在我们想迁移到 Cassandra，我们应该使用相同的方法来实现相同的目标还是：

• 也许我们更好地使用 Spark/Kylin 之类的工具，他们可以做这样的事情吗？
• 可能方法可以以某种方式改变？

我们借助 OLAP 的多维数据集设计和具有 ETL 连接的仓库拥有分析数据的框架，它们都是 sqlServer 结构和 SSRS（SQL Server Reporting Services）。我们的一些报告花了很多时间才得出结论，我们决定迁移到 Hadoop 生态系统。Apache Kylin 是这个框架的一个很好的替代品吗？

我正在尝试将 hive 表列表中的表同步到 kylin 以构建多维数据集。但是，在这个过程中，我看到元数据同步并显示在 Kylin 中，但不是实际数据。当我尝试查看相关日志时，我发现以下内容：

NoSuchObjectException(message:DEFAULT.KYLIN_INTERMEDIATE_XYZ_TABLE_NAME table not found) at org.apache.kylin.source.hive.HiveMRInput$HiveTableInputFormat.configureJob(HiveMRInput.java:115) at org.apache.kylin.source.hive.cardinality.HiveColumnCardinalityJob.run (HiveColumnCardinalityJob.java:94) 在 org.apache.kylin.engine.mr.common.MapReduceExecutable.doWork(MapReduceExecutable.java:129) 在 org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:125) ) 在 org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:125) 在 org.apache.kylin 的 org.apache.kylin.job.execution.DefaultChainedExecutable.doWork(DefaultChainedExecutable.java:64)。 java 中的 job.impl.threadpool.DefaultScheduler$JobRunner.run(DefaultScheduler.java:144)。util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745) : java.io.IOException: NoSuchObjectException(message:DEFAULT.KYLIN_INTERMEDIATE_BVP_STG_VIEWS_UVERSE_PROGRAM_METADATA_VOD 表未找到) 在 org.apache.hive.hcatalog.mapreduce.HCatInputFormat.setInput(HCatInputFormat.java:97) 在 org.apache.hive.hcatalog.mapreduce。 HCatInputFormat.setInput(HCatInputFormat.java:51) at org.apache.kylin.source.hive.HiveMRInput$HiveTableInputFormat.configureJob(HiveMRInput.java:112) ... 9 更多原因：NoSuchObjectException(message:DEFAULT.KYLIN_INTERMEDIATE_BVP_STG_VIEWS_UVERSE_PROGRAM_METADATA_VOD 表不发现）在 org.apache.hadoop。hive.metastore.api.ThriftHiveMetastore$get_table_result$get_table_resultStandardScheme.read(ThriftHiveMetastore.java:44359) at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$get_table_result$get_table_resultStandardScheme.read(ThriftHiveMetastore.java:44327) at org. org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:86) 上的 apache.hadoop.hive.metastore.api.ThriftHiveMetastore$get_table_result.read(ThriftHiveMetastore.java:44258)在 org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:86) 处读取（ThriftHiveMetastore.java:44258）在 org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:86) 处读取（ThriftHiveMetastore.java:44258）

请让我知道会是什么问题？我可以成功地将几个其他表从 hive 同步到 kylin 以及用于 kylin OLAP 多维数据集和模型的数据（不仅是元数据）。不知道为什么会发生这种情况很少有桌子而不是其他桌子。

我正在尝试按照Apache Kylin install上提供的说明在 Hortonworks Sandbox 上安装 Apache Kylin 。

我设置了我的 .bashrc export KYLIN_HOME='/root/kylin' （在这个文件夹里面有 Kylin Binaries ）。

在第 3 步中，它说运行 bin/check-env.sh 来检查环境问题，这个脚本在 kylin/build 下而不是在 kylin/ 里面，所以，我尝试将 KYLIN_HOME 设置为 '/root/kylin/build' 和'/根/麒麟'

我收到此错误与“/root/kylin”

$ bin/check-env.sh: line 23: /root/kylin/bin/find-hadoop-conf-dir.sh: 没有这样的文件或目录 KYLIN_HOME 设置为 /root/kylin bash: /root/kylin/bin /get-properties.sh: No such file or directory 请在 kylin.properties 中设置 kylin.env.hdfs-working-dir

'/root/kylin/build' 这个错误

正在检索 hadoop conf 目录... ls: 无法访问/root/kylin/build/tool/kylin-tool-.jar: 没有这样的文件或目录 KYLIN_HOME 设置为 /root/kylin/build ls: 无法访问 /root/kylin /build/tool/kylin-tool-.jar : No such file or directory 请在 kylin.properties 中设置 kylin.env.hdfs-working-dir

如何解决此问题以在 Hortonworks Sandbox 中成功运行 Kylin？我错过了什么？

如果向 hive 表添加更多行，如果我们创建没有分区日期列的多维数据集，我们是否必须再次运行 map reduce 作业来构建多维数据集

当开始使用 Apache kylin WebUI（2.2.0 和 2.1.0）做某事时，我从 Web 控制台收到一些错误，工具无法正常工作。但是当我尝试使用 kylin(1.6.0) 时，这个项目正在运行。

以下来自 Web 控制台的文本：

有人知道问题如何解决吗？

来自 Web 控制台的一些错误文本。

我是 hadoop、hive、hbase 和 kylin 的新手。我尝试安装前三个，它似乎正在工作。

之后我尝试安装 apache kylin，运行 sample.sh 并成功。

运行脚本后，我重新启动并打开 Web 界面。某些页面无法打开，例如：/cube、/models、/admin/config

问题是：我可以看到在 hive 中创建了 5 个表，并且还创建了 2 个多维数据集。但是当我在 web gui 中打开时，模型处于加载状态，我无法构建多维数据集。

当我尝试构建立方体时

我找不到任何信息日志（或者也许有一个，但我不知道）

kylin.log https://pastebin.com/TUZkQepa

hadoop-hadoop-namenode-master.log https://pastebin.com/T8eNt3PY

hadoop-hadoop-secondarynamenode-master.log https://pastebin.com/iMJDNFfU

yarn-hadoop-resourcemanager-master.log https://pastebin.com/TGwJWTRF

hbase-hadoop-zookeeper-master.log https://pastebin.com/Ym6eky5h

hbase-hadoop-master-master.log https://pastebin.com/p1ygfw4W

这是hadoop的配置（yarn-site.xml）

hdfs-site.xml

核心站点.xml

mapred-site.xml

hbase 区域服务器的配置

hbase-site.xml

hive hive-site.xml 的配置

对于 kylin，我使用默认配置，因为我真的不知道如何处理 kylin 配置。

我使用的是：hadoop 2.7.5 二进制 hbase 1.2.6 二进制 hive 1.2.2 二进制 kylin 2.2.0 源（我只是添加日志）

我尝试通过官方博客指南查看带有 apache superset 的 apache kylin 数据，但是在查询出结果表后单击“可视化”按钮时遇到以下错误。我已将 kylinpy 升级到最新版本。我知道正确的 sql 应该是“ WHERE MONTH_BEG_DT >= '1918-03-12' AND MONTH_BEG_DT <= '2018-03-12' ”，但它是由超集 auto 生成的。