问题标签 [vora]

我们有一个要拆分为 3 的文件，并且我们需要在将其导入 Hana Vora 之前对其执行一些数据清理 - 否则所有内容都必须输入为字符串，这并不理想。

我们可以很好地在 spark 中导入和准备 DataFrame，但是当我尝试写入 HDFS 文件系统，或者更好的是，将其保存为“com.sap.spark.vora”数据源中的表时，我得到了错误。

任何人都可以建议将火花准备的数据集导入 Hana Vora 的可靠方法吗？谢谢！

在 MapR 5.1 上安装 SAP HANA Vora 1.2 后，收到以下错误消息并且 vora-catalog 似乎已关闭。

任何人都可以解决这个问题吗？

2016-10-19 21:29:48,341 错误 com.mapr.warden.service.baseservice.Service$ServiceMonitorRun 运行 [vora-catalog_monitor]：监控命令：[/opt/mapr/vora/warden-control.sh，目录，检查]无法确定服务：vora-catalog 是否正在运行。重试。重审#1。总重试次数为：3

我们在尝试使用 Vora 工具时收到以下错误

2016-10-24 11:22:57.940907|-0400|DEBUG|handleConnect 调用|datatools|datatools.go:279 2016-10-24 11:22:57.941001|-0400|DEBUG|创建新数据库连接：默认本地主机： 49155|datatools|datatools.go:219 2016-10-24 11:22:57.941274|-0400|ERROR|错误访问数据库：默认 localhost:49155，拨打 tcp 127.0.0.1:49155：getsockopt：连接被拒绝|datatools|datatools .go:163 2016-10-24 11:22:57.941310|-0400|DEBUG|断开数据库连接默认 localhost:49155|datatools|datatools.go:186

Catalog 似乎在端口 49152 上运行，但我们看不到更改此端口的方法。有没有办法强制工具寻找另一个端口？

在带有 Spark Controller 1.6 PL1 的 MapR 5.1/Spark 1.5.2 上的 SAP HANA Vora 1.2 中：

我已经配置了 Spark 控制器并启动了服务器。成功加载表，可以从 VORA 工具中看到。

在 SAP HANA Studio 中，我现在可以在其中看到我创建的文件夹“spark_velocity”和“M_JCUST”。当我尝试使用“添加为虚拟表”选项添加此表我的 HANA 文件夹时，我收到一个错误：

/var/log/hanaes 如下：

16/11/01 20:11:37 INFO Utils：释放缓冲区 16/11/01 20:11:37 INFO DefaultSource：使用现有目录表创建 VoraRelation M_JCUST 16/11/01 20:11:37 INFO Utils：释放缓冲区 16/11/01 20:11:37 错误 HanaVoraCatalog：查找关系 java.lang.ClassCastException 发生异常：org.apache.spark.sql.sources.BaseRelationSource 无法转换为 org.apache.spark.sql org.apache.spark.sql.vora.hana.HanaVoraCatalog.getTableRelation (HanaVoraCatalog.scala:27​​) 处的 .sources.BaseRelation (HanaVoraCatalog.scala:27​​) 处 org.apache.spark.sql.hive.hana.CompositeCatalog$class.getTableRelation(HanaDBCatalog.scala: 99）在 org.apache.spark.sql.hive.hana.HanaSQLContext.getTableMetaNew(HanaSQLContext.scala:337) 的 org.apache.spark.sql.hive.hana.HanaSQLContext.getTableMetaNew(HanaSQLContext.scala:337) .sap.hana.spark.network.CommandHandler.handleMessage(CommandRouter.scala:516) at com.sap.hana.spark.network.CommandHandler$$anonfun$receive$2$$anon$1.run(CommandRouter.scala:27​​2) at com.sap.hana.spark.network.CommandHandler$$anonfun$receive$2$$anon$1.run(CommandRouter.scala:27​​0) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject .doAs(Subject.java:360) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1575) at com.sap.hana.spark.network.CommandHandler$$anonfun$receive$2.applyOrElse(CommandRouter .scala:27​​0) at akka.actor.Actor$class.aroundReceive(Actor.scala:467) at com.sap.hana.spark.network.CommandHandler.aroundReceive(CommandRouter.scala:231) at akka.actor.ActorCell。在 akka.dispatch.Mailbox.processMailbox(Mailbox.scala:238) 在 akka.dispatch.Mailbox.run(Mailbox.scala) 的 akka.actor.ActorCell.invoke(ActorCell.scala:487) 的 receiveMessage(ActorCell.scala:516) :220) at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:397) at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260) : 16/11/01 20:11:37 错误命令处理程序: java.lang.NullPointerException at org.apache.spark.sql.hive.hana.HanaSQLContext.getTableMetaNew(HanaSQLContext.scala:347) at com.sap.hana.spark.network.CommandHandler.handleMessage(CommandRouter.scala:516)在 com.sap.hana.spark.network.CommandHandler$$anonfun$receive$2$$anon$1.run(CommandRouter.scala:27​​2) 在 com.sap.hana.spark.network。CommandHandler$$anonfun$receive$2$$anon$1.run(CommandRouter.scala:27​​0) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:360) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1575) at com.sap.hana.spark.network.CommandHandler$$anonfun$receive$2.applyOrElse(CommandRouter.scala:27​​0) atakka.actor。 Actor$class.aroundReceive(Actor.scala:467) at com.sap.hana.spark.network.CommandHandler.aroundReceive(CommandRouter.scala:231) at akka.actor.ActorCell.receiveMessage(ActorCell.scala:516) at akka .actor.ActorCell.invoke(ActorCell.scala:487) 在 akka.dispatch.Mailbox.processMailbox(Mailbox.scala:238) 在 akka.dispatch.Mailbox.run(Mailbox.scala:220) 在 akka。dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:397) at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260) at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)在 scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979) 在 scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107) 16/11/01 20:11:37 错误 RequestOrchestrator: java.lang .NullPointerException at org.apache.spark.sql.hive.hana.HanaSQLContext.getTableMetaNew(HanaSQLContext.scala:347) at com.sap.hana.spark.network.CommandHandler.handleMessage(CommandRouter.scala:516) at com.sap .hana.spark.network.CommandHandler$$anonfun$receive$2$$anon$1.run(CommandRouter.scala:27​​2) 在 com.sap.hana。spark.network.CommandHandler$$anonfun$receive$2$$anon$1.run(CommandRouter.scala:27​​0) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java :360) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1575) at com.sap.hana.spark.network.CommandHandler$$anonfun$receive$2.applyOrElse(CommandRouter.scala:27​​0) at akka.actor.Actor$class.aroundReceive(Actor.scala:467) at com.sap.hana.spark.network.CommandHandler.aroundReceive(CommandRouter.scala:231) at akka.actor.ActorCell.receiveMessage(ActorCell.scala: 516）在akka.actor.ActorCell.invoke（ActorCell.scala：487）在akka.dispatch.Mailbox.processMailbox（Mailbox.scala：238）在akka.dispatch.Mailbox.run（Mailbox.scala：220) at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:397) at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260) at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool .java:1339) 在 scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979) 在 scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)

此问题与以下发布的问题相同： SAP HANA Vora 1.2：无法在 HANA Studio 中加载为虚拟表

但是，我使用 SAP HANA SPS12、带有 MapR 支持的 Spark Controller 1.6 PL1 并正确替换了 spark-sap-datasources-1.2.33-assembly.jar。

关于这个错误的任何建议？

感谢和问候法力

有人可以指导我一些关于 SAP HANA VORA 如何从 Hadoop 访问数据的参考资料。如果有人可以向我推荐这方面的一些文档/视频，那就太好了。

问候吉里

我正在尝试构建一个 spark 应用程序来访问 hana vora 内容。

我的斯卡拉代码是

我想在我的构建中包含第三方 jar “spark-sap-datasources-1.2.33-assembly.jar”。我试过 sbt 包，sbt 程序集

我使用了以下 build.sbt

没有任何效果。我收到以下错误

将 1 个 Scala 源代码编译到 local/file/loc/target/scala-2.10/classes... [错误] 错误的符号引用。ExtendableSQLContext.class 中的签名是指包 org.apache.spark.sql 中不可用的类型 SQLContext [error]。[错误] 当前类路径中可能完全缺少它，或者[错误] 类路径上的版本可能与编译 ExtendableSQLContext.class 时使用的版本不兼容。

如何克服这个错误。我是 scala、sbt、spark 和 vora 的新手。

当我已经在我的 . 根据手册，我尝试的下一件事是在 http://:19000 打开 Manager UI——这就是它失败的地方

我收到一条错误消息“重定向过多”。当我尝试在 wget 中使用该 URL 时也会发生同样的情况：

配置中可能缺少任何东西吗？

我正在使用 Manager Web UI 在 HDP 2.3 上部署 Vora 1.3 服务。主要是默认配置和节点分配。我已将 Vora Thriftserver 服务分配给已成功托管 Vora 1.2 相同服务（我已经删除）的节点。

该服务没有启动。这是日志的相关部分：

Vora Thriftserver 配置选项卡中的 Spark 可执行文件和 Java 可执行文件路径正确。

我错过了什么吗？

我们正在尝试在连接到 Vora 的两个 Spark 控制器之间进行负载平衡......

我们能够连接并将查询发送到控制器。当结果应该被传递回hana时，就会出现问题，进程挂起并且永远不会完成。

日志状态的最后几行：

是否有特定的配置允许在两个控制器之间进行负载平衡？

有人可以解释SAP HANA 和SAP HANA Vora的智能数据访问之间的区别吗？

据我了解，SDA只是创建了一些virtual tables能够访问外部系统（如 Hadoop 和许多其他数据库的 ODBC 数据库）的数据，就像它是 SAP HANA 系统的一部分（因此您可以使用 HANA IDE）并使用“默认数据库引擎”计算此外部系统的子结果并将其返回给 SAP HANA。

Vora的概念也是让 SAP 用户访问 Hadoop 系统，但子结果是使用 Apache Spark 的 InMemory 执行引擎计算的。

我读到 Hadoop 是冷数据（来自 SAP HANA 的数据早于某个时间段，并非所有分析都需要的数据）的完美数据存储。但是我对这两种数据访问解决方案感到困惑，因为我找不到重要的区别。

如果您计划在由 SAP HANA 工具编写的一次分析中访问热 (SAP HANA) 和冷 (Hadoop) 数据，哪一个会更好？

对于将 SAP HANA 和包含 Hive 表中的数据的 Hadoop 集群结合起来，您有什么建议？