问题标签 [kylin]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-kafka - Kylin 从 Kafka 构建流 cude 失败
我们在第一步构建流式立方体失败:从kafka保存数据,这是输出日志:
谁能告诉我如何解决?
mondrian - 将 Pentaho BI Server 连接到 Kylin
Kylin 2.1.0 在安装了 HBase 1.2.6 和 Hive 2.1.1 的 Hadoop 2.7.0 集群上启动并运行。
我们还在另一台机器上安装了 Pentaho BI 服务器 6.1.0.1.196(mondrian 3.11 和 saiku)。
我们希望 Pentaho 能够访问在 Kylin 中创建的多维数据集并使用 Saiku Analytics
确实在互联网上参考了一些建议,但无法实现我的目标 https://github.com/mustangore/kylin-mondrian-interaction
对此的任何帮助都非常感谢。
cassandra - Cassandra 和聚合数据
我们有一个“遗留”的基于 SQL Server 的应用程序,它保存 OLTP 数据(销售):
- OLTP 数据结构非常复杂
- 我们仍然必须将其作为报告来源
- OLTP 结构的报告非常慢
- 所以我们准备并保留实际的“OLAP”视图,比如每天的销售额,每个视图实际上是 MS SQL 数据库中的一个表
主要问题:当我们需要一个新视图时,扫描所有现有的 OLTP 数据需要花费大量时间。
现在我们想迁移到 Cassandra,我们应该使用相同的方法来实现相同的目标还是:
- 也许我们更好地使用 Spark/Kylin 之类的工具,他们可以做这样的事情吗?
- 可能方法可以以某种方式改变?
hadoop - Apache Kylin 是 SSRS(SQL Server Reporting Services)的好选择吗?
我们借助 OLAP 的多维数据集设计和具有 ETL 连接的仓库拥有分析数据的框架,它们都是 sqlServer 结构和 SSRS(SQL Server Reporting Services)。我们的一些报告花了很多时间才得出结论,我们决定迁移到 Hadoop 生态系统。Apache Kylin 是这个框架的一个很好的替代品吗?
hadoop - 配置单元表的 Kylin 同步问题
我正在尝试将 hive 表列表中的表同步到 kylin 以构建多维数据集。但是,在这个过程中,我看到元数据同步并显示在 Kylin 中,但不是实际数据。当我尝试查看相关日志时,我发现以下内容:
NoSuchObjectException(message:DEFAULT.KYLIN_INTERMEDIATE_XYZ_TABLE_NAME table not found) at org.apache.kylin.source.hive.HiveMRInput$HiveTableInputFormat.configureJob(HiveMRInput.java:115) at org.apache.kylin.source.hive.cardinality.HiveColumnCardinalityJob.run (HiveColumnCardinalityJob.java:94) 在 org.apache.kylin.engine.mr.common.MapReduceExecutable.doWork(MapReduceExecutable.java:129) 在 org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:125) ) 在 org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:125) 在 org.apache.kylin 的 org.apache.kylin.job.execution.DefaultChainedExecutable.doWork(DefaultChainedExecutable.java:64)。 java 中的 job.impl.threadpool.DefaultScheduler$JobRunner.run(DefaultScheduler.java:144)。util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745) : java.io.IOException: NoSuchObjectException(message:DEFAULT.KYLIN_INTERMEDIATE_BVP_STG_VIEWS_UVERSE_PROGRAM_METADATA_VOD 表未找到) 在 org.apache.hive.hcatalog.mapreduce.HCatInputFormat.setInput(HCatInputFormat.java:97) 在 org.apache.hive.hcatalog.mapreduce。 HCatInputFormat.setInput(HCatInputFormat.java:51) at org.apache.kylin.source.hive.HiveMRInput$HiveTableInputFormat.configureJob(HiveMRInput.java:112) ... 9 更多原因:NoSuchObjectException(message:DEFAULT.KYLIN_INTERMEDIATE_BVP_STG_VIEWS_UVERSE_PROGRAM_METADATA_VOD 表不发现)在 org.apache.hadoop。hive.metastore.api.ThriftHiveMetastore$get_table_result$get_table_resultStandardScheme.read(ThriftHiveMetastore.java:44359) at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$get_table_result$get_table_resultStandardScheme.read(ThriftHiveMetastore.java:44327) at org. org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:86) 上的 apache.hadoop.hive.metastore.api.ThriftHiveMetastore$get_table_result.read(ThriftHiveMetastore.java:44258)在 org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:86) 处读取(ThriftHiveMetastore.java:44258)在 org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:86) 处读取(ThriftHiveMetastore.java:44258)
请让我知道会是什么问题?我可以成功地将几个其他表从 hive 同步到 kylin 以及用于 kylin OLAP 多维数据集和模型的数据(不仅是元数据)。不知道为什么会发生这种情况很少有桌子而不是其他桌子。
shell - 在 Hortonworks 上安装 Apache Kylin 时 check-env.sh 出错
我正在尝试按照Apache Kylin install上提供的说明在 Hortonworks Sandbox 上安装 Apache Kylin 。
我设置了我的 .bashrc export KYLIN_HOME='/root/kylin' (在这个文件夹里面有 Kylin Binaries )。
在第 3 步中,它说运行 bin/check-env.sh 来检查环境问题,这个脚本在 kylin/build 下而不是在 kylin/ 里面,所以,我尝试将 KYLIN_HOME 设置为 '/root/kylin/build' 和'/根/麒麟'
我收到此错误与“/root/kylin”
$ bin/check-env.sh: line 23: /root/kylin/bin/find-hadoop-conf-dir.sh: 没有这样的文件或目录 KYLIN_HOME 设置为 /root/kylin bash: /root/kylin/bin /get-properties.sh: No such file or directory 请在 kylin.properties 中设置 kylin.env.hdfs-working-dir
'/root/kylin/build' 这个错误
正在检索 hadoop conf 目录... ls: 无法访问/root/kylin/build/tool/kylin-tool-.jar: 没有这样的文件或目录 KYLIN_HOME 设置为 /root/kylin/build ls: 无法访问 /root/kylin /build/tool/kylin-tool-.jar : No such file or directory 请在 kylin.properties 中设置 kylin.env.hdfs-working-dir
如何解决此问题以在 Hortonworks Sandbox 中成功运行 Kylin?我错过了什么?
hive - 每次我们向 Hive 添加新数据时,我们是否必须再次构建 kylin cube
如果向 hive 表添加更多行,如果我们创建没有分区日期列的多维数据集,我们是否必须再次运行 map reduce 作业来构建多维数据集
kylin - kylin 无法加载 kylin.properties
当开始使用 Apache kylin WebUI(2.2.0 和 2.1.0)做某事时,我从 Web 控制台收到一些错误,工具无法正常工作。但是当我尝试使用 kylin(1.6.0) 时,这个项目正在运行。
以下来自 Web 控制台的文本:
有人知道问题如何解决吗?
hadoop - Apache Kylin 无法加载模型/配置
我是 hadoop、hive、hbase 和 kylin 的新手。我尝试安装前三个,它似乎正在工作。
之后我尝试安装 apache kylin,运行 sample.sh 并成功。
运行脚本后,我重新启动并打开 Web 界面。某些页面无法打开,例如:/cube、/models、/admin/config
问题是:我可以看到在 hive 中创建了 5 个表,并且还创建了 2 个多维数据集。但是当我在 web gui 中打开时,模型处于加载状态,我无法构建多维数据集。
我找不到任何信息日志(或者也许有一个,但我不知道)
kylin.log https://pastebin.com/TUZkQepa
hadoop-hadoop-namenode-master.log https://pastebin.com/T8eNt3PY
hadoop-hadoop-secondarynamenode-master.log https://pastebin.com/iMJDNFfU
yarn-hadoop-resourcemanager-master.log https://pastebin.com/TGwJWTRF
hbase-hadoop-zookeeper-master.log https://pastebin.com/Ym6eky5h
hbase-hadoop-master-master.log https://pastebin.com/p1ygfw4W
这是hadoop的配置(yarn-site.xml)
hdfs-site.xml
核心站点.xml
mapred-site.xml
hbase 区域服务器的配置
hbase-site.xml
hive hive-site.xml 的配置
对于 kylin,我使用默认配置,因为我真的不知道如何处理 kylin 配置。
我使用的是:hadoop 2.7.5 二进制 hbase 1.2.6 二进制 hive 1.2.2 二进制 kylin 2.2.0 源(我只是添加日志)
kylin - 在 apache 超集中可视化 apache kylin 数据时出错
我尝试通过官方博客指南查看带有 apache superset 的 apache kylin 数据,但是在查询出结果表后单击“可视化”按钮时遇到以下错误。我已将 kylinpy 升级到最新版本。我知道正确的 sql 应该是“ WHERE MONTH_BEG_DT >= '1918-03-12' AND MONTH_BEG_DT <= '2018-03-12' ”,但它是由超集 auto 生成的。