问题标签 [hivecontext]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - 从 HiveContext 连接到 HiveMetaStore
我正在对通过 HiveContext.sql() 创建的表进行一些测试。无论如何我可以使用 org.apache.hadoop.hive.metastore.HiveMetaStoreClient 连接到底层 HiveMetaStore？
我试图初始化 HiveMetaStoreClient(hiveContext.hiveconf()) 但我看不到 HiveMetaStoreClient 中的表。
scala - 比较数据框以在 Spark 和 Scala 问题中导入增量数据
我从 oracle using 派生了一个数据框，Sqlcontext并将其注册为 temp table tb1。
我有另一个从 hive using 派生的数据框，HiveContext我将其注册为 table tb2。
当我尝试使用访问这两个表HiveContext时，出现类似Unable to find tb1 and when try it with sqlcontext.
我收到类似的错误Unable to find tb2。
请对此有任何帮助。
我当然是在 Scala 中做的。
apache-spark - 在 spark 1.6 中计数（不同）不能与 hivecontext 查询一起使用
最近我们进行了从 1.3 到 1.6 版本的 spark 更新，在此更新之后，具有“具有计数（不同）”条件的查询不起作用，我们收到以下错误
询问 ：：
当带有“有 count(*) 的查询工作正常”时
例如：
请让我们知道是否有任何解决方案。非常感谢
错误：：
apache-spark - java.lang.NoSuchMethodError: org.apache.spark.sql.hive.HiveContext.sql(Ljava/lang/String;)Lorg/apache/spark/sql/DataFrame
使用 spark-submit 运行 spark 程序时出现以下错误。
我的 spark-cluster 是 2.0.0 版本，我使用 sbt 编译我的代码，下面是我的 sbt 依赖项。
sql - SparkJob file name
I'm using a HQL query, that contains something similar to...
When I go into hive, and I use that command, it works fine.
When I put it into a pyspark, hivecontext command, instead I get the error...
Any ideas why this might be?
apache-spark - 通过 sparkcontext 或 hivecontext 的代码从文件运行 hive 查询（而不是通过命令行）
考虑到文件中几乎没有配置单元查询，我的 moto 是使用hivecontext或运行文件sparkcontext
使用命令行我可以做到这一点hive -f 'filepath/filename'
但我必须通过代码运行它（hivecontext或sparkcontext）有人可以帮忙吗？
对于单个查询，我可以使用：
但我必须运行一个有查询的文件。
apache-spark-sql - 使用 Spark SQL 执行 OLAP 函数
我正在使用 spark 1.6 版。我想通过 Spark 上的 sql 查询来执行 OLAP 函数，包括 CUBE、ROLLUP、GROUPING SETS。我知道数据框 api 上提供了多维数据集和汇总函数，但是如何通过 SQL 查询执行它们？
我需要为此使用 HiveContext 吗？我需要为此设置 Hive 吗？如何将数据框保存为可以通过使用 HiveContext 执行的 sql 查询访问的表？
看看示例代码会很棒。谢谢。
dataframe - 包 hive 中的对象 HiveContext 无法在包中访问
HI Coders，我又回来了。我正在尝试在我的 scala 代码中使用 HIve 上下文从数据帧创建一个配置单元表，我能够在 sqlContext 中做到这一点，但是当涉及到 HiveContext 时，它会抛出这个错误
我也尝试过相同的声明，但声明略有不同，
我也添加了 sbt 库依赖项，
libraryDependencies += "org.apache.spark" % "spark-hive_2.10" % "1.6.1"
我也试过“提供”。
这是我的一段代码
有什么解决办法吗？我从来没有遇到过这个“不可访问”的错误。
而且我还尝试从代码中创建一个 temptable
但是我在哪里可以找到 mdl_events 表？spark中是否有任何默认数据库可以在其中查找？不过，我不喜欢火花壳。
hadoop - 在java中使用hiveContext修复hive表
我想修复任何新添加/删除的分区的配置单元表。而不是在配置单元中手动运行 msck 修复命令，有没有办法在 java 中实现这一点？我试图从 hdfs 和配置单元元存储中获取所有分区，然后比较后会将新添加/删除的分区放入 hive 元存储中。但我无法从 hivecontext 获取 api。我尝试使用 hivecontext 获取所有分区，但它抛出错误表未找到。
有没有办法使用java在hive中添加/删除分区？
apache-spark - 在本地运行 Spark 作业并出现 HiveContext 抛出错误
我在本地运行 spark 作业以进行调试。我已经使用 sbt 导入了 spark-core jar 文件。我在我的代码中使用 hiveContext。它抛出以下错误。 HDFS 上的根暂存目录：/tmp/hive 应该是可写的。当前权限是：rw-rw-rw-
再一次，我没有在我的本地机器上安装 spark 或 hadoop。我正在使用 sbt 导入所有 jar 并在 Intellij 中运行它们。有什么办法可以解决这个问题。
谢谢，