问题标签 [beeline]

我无法使用直线接口从配置单元表中提取数据到文件。与 hive 接口一起工作的东西不能在直线上工作。任何帮助表示赞赏。

请考虑以下设置。

hadoop 版本 2.6.4

火花版本 2.1.0

操作系统 CentOS Linux 版本 7.2.1511（核心）

所有软件作为单节点集群安装在单台机器上，spark 以独立模式安装。我正在尝试使用Spark Thrift Server。要启动 spark thrift 服务器，我运行 shell 脚本 start-thriftserver.sh

运行 thrift 服务器后，我可以运行 beeline 命令行工具并发出以下命令： 命令运行成功：

我的第一个问题是在 haddop 上为这个表/数据库创建的基础文件/文件夹在哪里？问题是即使使用 stop-all.sh 停止了 hadoop，create table/database 命令仍然成功，这让我觉得表根本不是在 hadoop 上创建的。

我的第二个问题是如何告诉 spark 世界上安装了 hadoop 的位置？并要求 spark 使用 hadoop 作为从直线运行的所有查询的底层数据存储。

我应该以其他模式安装火花吗？

提前致谢。

我在 hdinsight 集群中有 hive，在我的本地机器上有 nifi。我正在尝试从 executeprocess 处理器执行配置单元脚本，其属性设置如下：

我有 hiveconnection 池的控制器服务。当我启动处理器时，会抛出如下所示的错误：

我也通过提供本地机器路径尝试了命令参数。虽然抛出了同样的错误。

在脚本中，我试图在现有表中插入一行。

请帮助我我做错了什么。

谢谢

我需要通过直线将配置单元查询的输出用作另一个配置单元查询中的变量。所以像

select * from 123 where some_variable='select abc from xyz';

但是 hive 不支持 where 子句中的子查询，所以我会通过 shell 命令来完成。使用标准的 hive cli 这很容易，我会做这样的事情：

my_shell_var=$(hive -S -e "select abc from xyz;")

然后我会运行：

hive -e "select * from 123 where some_variable=$my_shell_var;"

但是直线输出包括边界，因此 my_shell_var 被这样包围

+------+ some output +------+

所以我不能将它插入到下一个查询中，因为额外的字符会改变我的字符串。有没有办法从直线输出中删除边界，或者有没有替代方法来实现我想要做的事情？

我有一个 hiveserver2 安装，其中设置了以下超时配置：

hive.server2.session.check.interval=3600000
hive.server2.idle.operation.timeout=7200000
hive.server2.idle.session.timeout=86400000

但是，如果我使用直线从远程服务器打开连接（并让它保持空闲状态），连接会在大约 10 分钟后重置，并显示以下消息。

错误：org.apache.thrift.transport.TTransportException：java.net.SocketException：连接重置（状态=08S01，代码=0）

有没有人遇到过这个问题？如果是这样，请告诉我。

谢谢

我在 Ubuntu 16.04 上运行 hive 2.1.1、hadoop 2.7.3。

ps aux | grep hive显示 hiveserver2 正在运行。

我正在尝试使用用户 [hive2] 和密码 [password] 通过直线登录到 hivesever2。

这是我的直线输出：

我可以通过输入!connect jdbc:hive2://直线连接到嵌入式模式。

这是我的 hive-site.xml：

我删除了beeline-hs2-connection.xml，以防它覆盖hive-site.xml。

这是我的 core-site.xml

如何修复错误并连接到 jdbc:hive2://localhost:10000？

谢谢！

我在 Ubuntu 16.04 上运行 hive 2.1.1、hadoop 2.7.3。

在 hive 终端中执行 HQL 完全没问题。

这是我在直线和 Java 中从 JDBC 得到的错误：

错误：处理语句时出错：FAILED：执行错误，从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1。MetaException（消息：得到异常：org.apache.hadoop.security.AccessControlException 权限被拒绝：user=hive2，access=WRITE，inode="/user/hive/warehouse/test2":server:supergroup:drwxrwxr-x

当我尝试在直线和 Java 中插入查询时，我得到了同样的错误。看来我只能通过JDBC读取而不能写入。

以下是我在beeline 中的登录方式：

这是我的一段Java代码：

我尝试在 hive-site.xml 中设置 hive.exec.stagingdir 属性：

不幸的是，它并没有解决问题。

我发现的另一个解决方案是以 root 用户身份登录。但是我如何以root 用户而不是用户 [ hive2 ] 身份登录？

如何通过 JDBC 执行写查询（创建、插入）而不会出现 Permission denied 错误？

谢谢！

我有一个在另一台服务器上运行的 Hadoop 集群。我能够通过 ssh 进入该服务器并使用 Hive 运行查询。我正在尝试确定是否可以使用 Hive 或 Beeline 远程查询该服务器；会更喜欢直线，因为它没有被弃用。

我使用 Homebrew 安装 Hadoop 和 Hive。但是它抱怨缺少环境变量和路径。但似乎这些东西已经设置好了，所以我一定没有正确配置它。那么，我需要执行哪些步骤才能从我的 Mac 在远程 Hadoop 上执行查询？我是否必须通过所有步骤来设置本地 Hadoop 实例才能查询远程 Hadoop？

尝试从直线连接到 hiveserver2 时出现以下错误

我在 hadoop2.7.3、hive 2.1.1、来自 spark 2.1.0 的 beeline 客户端，用于 hadoop 2.7，它们都在 Mac OS-X 10 上运行，带有 hive-jdbc-2.1.1-standalone.jar

消息的后半部分也提到了相同的错误，其中提到了以下内容

我在 hive-site.xml 中设置了以下内容

以及 core-site.xml 中的以下内容

不确定 serverProtocolError 是否导致了模拟问题。请帮忙

在 Hive 实例中包含一些数据库和表。我想显示一些特定数据库的表（比如说 3_db）。

如果我从那里的 bash-nothing complex 进入直线，我只需执行以下操作：

当我通过 ipython notebeook 使用 pyspark 时，我的廉价技巧在那里不起作用，而是在第二行给我错误（显示来自 3_db 的表）：

似乎有什么问题，为什么相同的代码在一个地方有效而在另一个地方无效？