0

我在运行 Ubuntu 的计算机上创建了一台 VMWare 机器。我在那里使用演示 LDAP 设置了 Apache Knox，我目前正在尝试通过 SQuirreL 设置到 Knox 的连接字符串。我不能使用 Hortonworks Sandboxes，因为我需要使它与 Cloudera 下的 Hive 兼容。在开始配置 Knox 之前，我希望能够先使用 Hive JDBC 驱动程序连接到它。这是我到目前为止的字符串：

jdbc:hive2://<host>:8443/;ssl=1;sslTrustStore=/gateway.jks;trustStorePassword=<master secret>?hive.server2.transport.mode=http;httpPath=gateway/default/hive

我的具体问题是：

  1. 我应该使用什么路径sslTrustStore？它目前位于/home/<user>/Downloads/knox-1.0.0/data/security/keystores/gateway.jks. 我用完整路径尝试了相同的字符串，但仍然没有运气。

  2. 我应该用来做httpPath什么？我的虚拟机上没有专门的 Hive，因为 Knox 将使用 Hive 连接到 Hadoop 节点。

  3. 我在连接字符串中还缺少什么吗？

在 SQuirreL 中，收到错误消息并单击“堆栈跟踪”后，这是我得到的一般要点：

java.util.concurrent.ExecutionException: java.lang.RuntimeException: java.sql.SQLException: [Cloudera][HiveJDBCDriver](500164) Error initialized or created transport for authentication: \home\anudeep\Downloads\knox-1.0.0\data\security\keystores\gateway.jks (The system cannot find the path specified).
    at java.util.concurrent.FutureTask.report(Unknown Source)
    at java.util.concurrent.FutureTask.get(Unknown Source)
    at net.sourceforge.squirrel_sql.client.mainframe.action.OpenConnectionCommand.awaitConnection(OpenConnectionCommand.java:132)
    at net.sourceforge.squirrel_sql.client.mainframe.action.OpenConnectionCommand.access$100(OpenConnectionCommand.java:45)
    at net.sourceforge.squirrel_sql.client.mainframe.action.OpenConnectionCommand$2.run(OpenConnectionCommand.java:115)
    at java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
    at java.util.concurrent.FutureTask.run(Unknown Source)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
    at java.lang.Thread.run(Unknown Source)
4

1 回答 1

0

您可以在没有 Knox 的情况下直接连接到 Hive 吗？查看堆栈跟踪似乎找不到密钥库（gateway.jks），这可能是权限问题。尝试在主机上安装 Knox。我从 VM 连接到外部服务（在主机操作系统上运行）时遇到了很多问题，但这可能只是我。调试的方法很少，在此之前让我回答您的问题：

  1. 您是对的，您需要使用security/keystores/gateway.jks路径以便 Beeline（或任何 JDBC 客户端）可以信任 Knox 提供的证书。
  2. 看起来您正在使用 Apache Knox，因此您的路径看起来像gateway/sandbox/hive（您需要更新sandbox.xml拓扑下的 HIVE 服务 url）。gateway/default/hive主要由 Ambari 配置的 Knox 实例使用，在您的情况下，我认为这不是真的。
  3. 尝试进行一些更改，例如ssl=true, 而不是查询字符串 (?) 使用冒号 (:) 表示 transport.mode 即;transportMode=http

这是与 Beeline 一起为我工作的连接刺痛

beeline -u "jdbc:hive2://<knox-host>:8443/;ssl=true;sslTrustStore=/var/lib/knox/security/keystores/gateway.jks;trustStorePassword=<trustPassword>;transportMode=http;httpPath=gateway/sandbox/hive" -n admin -p admin-password

现在进行一些调试。

  1. 我认为如果你只是在你的主机操作系统（而不是虚拟机）上下载 Knox 并与 Hive 交谈会更容易，Knox 需要“视线”来为其代理服务，而使用虚拟机可能会很棘手。此外，我发现故障排除和检查日志很方便。您不需要在同一台机器上运行 Hive，只需看到 Knox 的视线就足够了。
  2. 确保hive-server.xml有房产hive.server2.servermode=http，这让我一直都很开心:)
  3. 本教程/示例说明了如何使用 JDBC 使用 Knox 连接到 Hive2，它使用 groovy 脚本，但您可以只查看设置和连接字符串。
  4. 这是使用 KnoxShell 连接到 Hive2的另一个示例。

希望这可以帮助。

于 2018-07-05T14:16:27.117 回答