问题标签 [knox-gateway]

您好我正在尝试将 Azure 用作 HDP 集群中 Apache Knox 的 OIDC。

我的环境：

• Hortonworks Cloudbreak 2.9.1
• HDP 3.1.4.0-315
• 安巴里 2.7.4.0
• 阿帕奇诺克斯 1.0.0
• 天蓝色

这是我的knoxsso.xml拓扑：

这是我的集群拓扑（default.xml）：

添加到 Azure -> AAD -> 应用程序 -> 身份验证 -> 重定向 URI：

所以我试图在浏览器中打开

它将我重定向到https://login.microsoftonline.com/ ...并要求输入用户名和密码，这是我所期望的。但是登录成功后，我得到一个错误：

部分登录 url 包含重定向 url：

我究竟做错了什么？

我继承了一个使用 knox 的集群，并试图弄清楚为什么 Spark 历史服务器可用于已完成的 Spark 作业，但 Spark UI 不可用于正在进行的 Spark 应用程序。

在这个纱线 UI（通过 Knox 公开）中，有 5 个已完成的纱线应用程序和 1 个正在进行的纱线应用程序。都是火花应用：

在 Tracking UI 列中，可用的链接是：

• https://my-knox-endpoint/gateway/my-cluster/yarn/proxy/application_1580137635209_0001
• https://my-knox-endpoint/gateway/my-cluster/yarn/proxy/application_1580137635209_0002
• https://my-knox-endpoint/gateway/my-cluster/yarn/proxy/application_1580137635209_0003
• https://my-knox-endpoint/gateway/my-cluster/yarn/proxy/application_1580137635209_0004
• https://my-knox-endpoint/gateway/my-cluster/yarn/proxy/application_1580137635209_0005
• https://my-knox-endpoint/gateway/my-cluster/yarn/proxy/application_1580137635209_0006

与已完成作业有关的五个链接都成功地为这些作业打开了 Spark History 服务器 UI。如果我发出问题cat ${GATEWAY_HOME}/logs/gateway-audit.log，当我点击这五个链接中的任何一个时，我会看到以下内容：

20/01/27 15:50:55 ||55bef3f3-a52f-4790-97d0-bd6e5076a293|审计|109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.0.229|YARNURI||| gateway/my-cluster-name/yarn/proxy/application_1580137635209_0001|不可用|请求方法：GET
20/01/27 15:50:55 ||55bef3f3-a52f-4790-97d0-bd6e5076a293|audit|109.231.200.210, 165.2 80.109、34.102.220.138、130.211.0.229|YARNUI||||调度|uri| http://my-cluster-name-m:8088/proxy/application_1580137635209_0001|unavailable|请求方法：GET
20/01/27 15:50:55 ||55bef3f3-a52f-4790-97d0-bd6e5076a293|audit|109.231。 200.210、165.225.80.109、34.102.220.138、130.211.0.229|YARNUI||||调度|uri| http://my-cluster-name-m:8088/proxy/application_1580137635209_0001|success|响应状态：302
20/01/27 15:50:55 |||审计|109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.0.229|YARNUI||||access|uri|/gateway/my-cluster-name/yarn /proxy/application_1580137635209_0001 |成功|响应状态：302
20/01/27 15:50:55 || F7617E15-3BF4-3BF4-4A8C-9701-978585894D784D784 | |SPARKHISTORYUI||||access|uri|/gateway/my-cluster-name/sparkhistory/history/application_1580137635209_0001/1|不可用|请求方法：GET 20/01/27 15:50:55 ||f7617e15-3bf4-4a8c -9701-9785894d7884|审计|109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.0.234|SPARKHISTORYUI||||调度|uri| http://my-cluster-name-m:18080/history/application_1580137635209_0001/1/|不可用|请求方法：GET
27 年 1 月 20 日 15:50:55 ||f7617e15-3bf4-4a8c-9701-9785894d7884|审计|109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.0.234|SPARKuri|SPARKURI|STORYUI||| http://my-cluster-name-m:18080/history/application_1580137635209_0001/1/|success|响应状态：30

以及 Spark History UI 资源的大量其他日志记录。都好。注意 302 记录（重定向）

但是，如果我点击正在进行的应用程序的链接，我将被发送到集群主节点http://my-cluster-name-m:18080/history/application_1580137635209_0006/1，并显示以下内容：

在我看到的日志中：

27 年 1 月 20 日 15:58:38 ||aec261d3-7ecc-43a7-8815-d7185ee13833|审计|109.231.200.210、165.225.80.109、34.102.220.138、130.211.1.130|/|YARNUI||| gateway/my-cluster-name/yarn/proxy/application_1580137635209_0006|不可用|请求方法：GET
20/01/27 15:58:38 ||aec261d3-7ecc-43a7-8815-d7185ee13833|audit|109.231.200.210, 165.25。 80.109、34.102.220.138、130.211.1.130|YARNUI||||调度|uri| http://my-cluster-name-m:8088/proxy/application_1580137635209_0006|unavailable|请求方法：GET
20/01/27 15:58:38 ||aec261d3-7ecc-43a7-8815-d7185ee13833|audit|109.231。 200.210、165.225.80.109、34.102.220.138、130.211.1.130|YARNUI||||调度|uri| http://my-cluster-name-m:8088/proxy/application_1580137635209_0006|success|响应状态：200
20/01/27 15:58:38 |||审计|109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.1.130|YARNUI||||access|uri|/gateway/my-cluster-name/yarn /proxy/application_1580137635209_0006|成功|响应状态：200

请注意，那里没有 302 条记录。

编辑：自从最初发布这篇文章以来，我注意到如果我在应用程序启动后立即单击 Tracking UI 链接，那么我会看到纱线应用程序的详细信息：

几秒钟后，单击同一链接会将我带到如上所示的错误。

在这一点上，我有点迷失了。谁能帮助解释为什么我无法查看正在进行的应用程序的 Spark UI？欢迎任何关于我如何诊断的指示。

我正在尝试使用 Apache Knox 为 Apache Zeppelin 启用 SSO 功能，该功能配置为将身份验证请求重定向到 Siteminder IdP。

我遇到的问题与 NameID 格式配置和签名配置有关。

无论我在 sp/idp 元数据中配置什么，使用的 NameID 格式都是

urn:oasis:names:tc:SAML:2.0:nameid-format:entity

并且请求总是在 Signed requests 设置为 true 的情况下发送。

我的SP配置如下：

我激活了 SAML 跟踪器并尝试了登录用户旅程。基于此配置发送到 Siteminder IdP 的 AuthNRequest 如下所示：

我可以在请求的参数部分看到一个签名值，这就是我假设 AuthNRequest 已签名的原因（尽管我对此的理解很少，所以这可能是一个错误的假设！）。

谁能帮助解释为什么 NameIDFormat 是作为实体而不是未指定的？Apache knox 是否支持 SAML1 协议？

提前致谢！

例如，假设我有一个系统，其入口点是 Apache Knox，它将请求重定向到 Apache NiFi。让我们进一步假设我将消息A和B发送到服务器，而 Apache Knox 首先接收消息A，然后接收消息B。Apache Knox 是否有可能改变消息的顺序，使得 Apache NiFi 先接收消息B，然后接收消息A？

可以从ambari更改 knox ( default.xml ) 的默认拓扑 UI

如果是怎么办？

是否可以使用 Knox Provider 扩展编写 DB 连接器？我希望 Knox 公开端点以响应 Knox 将放入或从数据库记录中获取的端点。

我正在将 Knox 与带有 OIDC 的 Keycloak 集成，以实现 Hadoop 集群中的 SSO 和安全功能。

我已经配置了一切，现在在访问 Knox URL 时，它正在重定向到 Keycloak URL。在 Keycloak 中成功验证用户身份后，它会将其重定向到 Knox URL（已配置）。

但是一旦它被重定向，就会出现以下错误：

2020-11-11 08:13:48,098 错误 knox.gateway (CommonIdentityAssertionFilter.java:doFilter(79)) - 所需的主题/身份不可用。检查身份验证/联合提供程序以进行正确配置。2020-11-11 08:13:48,100 错误 knox.gateway (AbstractGatewayFilter.java:doFilter(63)) - 无法执行过滤器：java.lang.IllegalStateException：缺少必需的主题 2020-11-11 08:13:48,100 错误knox.gateway (GatewayFilter.java:doFilter(169)) - 网关处理失败：javax.servlet.ServletException：java.lang.IllegalStateException：缺少必需的主题 javax.servlet.ServletException：java.lang.IllegalStateException：org 缺少必需的主题.apache.knox.gateway.filter.AbstractGatewayFilter.doFilter(AbstractGatewayFilter.java:64) 在 org.apache.knox.gateway.GatewayFilter$Holder.doFilter(GatewayFilter.java:349) 在 org.apache.knox。

…………

原因：java.lang.IllegalStateException：org.apache.knox.gateway.GatewayFilter$Holder 的 org.apache.knox.gateway.identityasserter.common.filter.CommonIdentityAssertionFilter.doFilter(CommonIdentityAssertionFilter.java:80) 缺少必需的主题。 doFilter(GatewayFilter.java:349) 在 org.apache.knox.gateway.GatewayFilter$Chain.doFilter(GatewayFilter.java:263) 在 org.apache.knox.gateway.filter.XForwardedHeaderFilter.doFilter(XForwardedHeaderFilter.java:50)在 org.apache.knox.gateway.filter.AbstractGatewayFilter.doFilter(AbstractGatewayFilter.java:58) ... 48 更多

任何建议都会非常有帮助。

谢谢

吉特什

我需要使用 HBase Java 客户端通过 Knox 连接到 HBase。我的诺克斯详细信息如下

使用下面的代码，我可以添加 URL 但无法添加凭据。

我见过其他 StackOverflow 问题，但他们都提到了要在配置中设置的以下属性。

我的问题是有没有办法使用 Knox 网关详细信息连接到 HBase 并检索数据？

我做了什么

1. 我已经使用 KnoxSSO和相同的主密钥设置了 Knox 实例，可通过 nginx 平衡器访问
2. 我已经设置了 Zeppelin ，并在Knox 实例的公钥之一中定义了 shiroknoxJwtRealm.publicKeyPath

当 Zeppelin 连接到这个 Knox 实例时，它工作正常。但是当它切换到另一个实例时，我得到一个错误：

那么，是否可以将 KnoxSSO 与 Apache Knox 的多个实例一起使用，以及如何实现呢？