问题标签 [knox-gateway]

正如我在另一个问题中所讨论的那样，Knox 中不支持 websockets 身份验证，但作为一种临时解决方案，我们可以在后端服务中处理身份验证。然而，我们的测试表明 Knox 没有将 Authorization 标头传递到后端。

我应该如何配置 Knox（来自 HDP 2.6.2 的 0.12.0）以使其将 Authorization 标头传递到后端以进行 websocket 连接？

我已经使用 Apache Ambari 安装了 Apache KNOX。按照以下链接使用 KNOX 配置 WEBHDFS。KNOX 安装在address1. https://knox.apache.org/books/knox-0-13-0/user-guide.html#WebHDFS

使用 curl 命令调用 webhdfs 时 curl -i -k -u guest:guest-password -X GET 'https://address1:8443/gateway/Andromd/webhdfs/v1/?op=LISTSTATUS'

它引发以下错误

Andromd 是集群名称并添加到{GATEWAY_HOME}/conf/topologies/Andromd.xml. 配置如下。

的内容/etc/hadoop/conf/hdfs-site.xml如下。

请让我知道，我的配置是否有任何遗漏。

Gateway.log 内容：

添加到上面的查询中，需要在 中包含以下标签，方法是用我们的集群特定信息Andromd.xml替换。sandbox.hortonworks.com

在站点 Apache Knox Gateway 0.13.x 用户指南（http://knox.apache.org/books/knox-0-13-0/user-guide.html#High+Availability）。我想配置 Knox 高可用性，站点的第一步是配置 Knox 实例，如下所示

必须同步所有 Knox 实例才能使用相同的拓扑凭据密钥库。>这些文件位于 >{GATEWAY_HOME}/conf/security/keystores/{TOPOLOGY_NAME}-credentials.jceks 下。它们 > 在第一次拓扑部署之后生成。目前这些文件需要>手动同步。以下是同步拓扑凭据密钥库的步骤：

1. 选择将作为拓扑凭据密钥库源的 Knox 实例。我们称它为密钥库大师
2. 将其他 Knox 实例中的拓扑凭据密钥库替换为来自密钥库主节点的拓扑凭据密钥库
3. 重启 Knox 实例

我想知道如何完成它。我是否删除所有 /{TOPOLOGY_NAME}-credentials.jceks 并保留一个？

我正在尝试通过 Oozie（通过 Knox）作为 shell 操作提交 Spark 作业（因为我们使用的是 HDP）。

提交停止并在 Yarn 应用程序日志中出现以下错误：

因此，尽管几行之后它显示了文件夹中存在的文件，但找不到我的应用程序 jar。

我的 Oozie shell 操作如下所示：

runSparkJob.sh脚本如下所示：

我认为这可能是权限问题，Yarn 看不到文件夹中的文件，但我不知道如何检查。

我们正在寻找通过 knox 访问 hadoop 服务的方法。但是，我们不想要 LDAP（用户密码）身份验证。相反，我们希望我们的节点经过身份验证。因此，每当来自我们节点的请求发出时，它都会受到欢迎。

我们喜欢使用 Webhdfs( https) 协议将流数据写入 HDFS。那可能吗 ？

我试图将 knox 用于我的 spark-thriftserver。我有我的 spark-thriftserver，当尝试使用 knox url 连接到配置单元时，它给了我错误 404，即服务不可用。当我检查 knox 网关的日志时，在 gateway-audit.log 中所有服务都不可用。这是设置，我按照设置 knox ：

1. 首先启动ldap服务

   ./bin/ldap.sh start

2. 创建主密钥

   ./bin/knoxcli.sh create-master

3. 启动网关服务

   ./bin/gateway.sh start

以下是gateway.log的日志

网关审计日志

诺克斯版本 - 1.0.0

即使网关服务器已正常启动，我也无法理解为什么服务不可用。任何帮助，将不胜感激 。

谢谢。

我的要求是使用 sslTrustStore .jks 文件和 trustStorePassword 将用于从 Windows AD 访问 hive 元存储的 java 程序连接到安装在 linux 机器上的 Hiveserver2/thrift。看起来集群启用了 knox。我可以使用 JDBC URL“jdbc:hive2:”连接并运行 sql 查询。注意 - 我们无法访问 Keytab。
我们没有使用 JDBC 连接的元存储连接详细信息。

我有一个运行 Hortonworks Data Platform 2.4.2 的 Hadoop 集群，它已经运行了一年多。集群是 Kerberized，外部应用程序通过 Knox 连接。今天早些时候，集群停止接受通过 Knox 到 Hive 的 JDBC 连接。

Knox 日志显示没有错误，但 Hive Server2 日志显示以下错误：

“引起：org.apache.hadoop.security.authorize.AuthorizationException：用户：knox 不允许模拟 org.apache.hive.service.cli.HiveSQLException：无法验证 knox 的代理权限”

在查看了其他用户之后，这些建议似乎主要是围绕 hadoop.proxyusers.users 和 hadoop.proxyusers.groups 的配置选项的正确设置。

但是，就我而言，我看不出这些设置如何成为问题。该集群已经运行了一年多，我们每天都有许多应用程序通过 JDBC 连接到 Hive。服务器的配置未更改，并且连接先前在当前配置上成功。没有对平台或环境进行任何更改，并且在上次成功的 JDBC 连接和被拒绝的 JDBC 连接之间没有重新启动或关闭集群以进行维护。

我现在已经停止并启动了集群，但重启后集群仍然不接受 JDBC 连接。

有人对我应该如何进行有任何建议吗？

我是 hdp 和 knox 的新手。

我的 HDP 环境说明：

HDP 版本 - 2.6

HS2 已启用

Hive 传输模式 - HTTP

通过 ambari 安装 Knox

SSL 未启用

非 Kerberized 实例

问题：

我正在尝试通过直线连接到 HIVE。连接字符串是“!connect jdbc:hive2://:8443/;transportMode=http;httpPath=gateway//hive”。用户名：admin，密码：admin-password。它抛出一个错误：“18/06/18 08:17:39 [main]: ERROR jdbc.HiveConnection: Error opening session org.apache.thrift.transport.TTransportException: org.apache.http.NoHttpResponseException: :8443 failed响应”和“错误：无法建立与 jdbc 的连接：hive2://:8443/;transportMode=http;httpPath=gateway//hive:org.apache.http.NoHttpResponseException::8443 未能响应（状态=08S01 ,代码=0)”。

我厌倦的事情：

我试过用“cliserver”、“gateway/default/hive”更改httpPath，但它们没有用。

我尝试使用“!connect jdbc:hive2://:10001/default;transportMode=http;httpPath=cliservice;”更改连接 url 它有效，但因为它不符合诺克斯的目的。因为我正在尝试使用暴露的蜂巢端口。

如果有人可以帮助我详细解决此问题，我将不胜感激。