问题标签 [knox-gateway]

我在 Bluemix 上创建了一个空间和一个 BigInsight 集群。为了测试 Knox，我需要多个用户进行身份验证。是否可以在 Bluemix Biginsight 服务中创建用户？提供用于访问集群的 ID 没有 root 访问权限。此外，如果有人能详细解释如何在 Bluemix Biginsights 服务中执行与管理相关的任务（添加更多组件，如 Hue、使用 yum 命令进行钻取），那将会很有帮助。提前致谢。

在花了一整天的时间设置和研究 Hortonworks 的 Ranger 之后，我现在很不情愿地使用它，但我仍然对它的结构感到非常困惑。我列出以下问题：

1. Ranger 和 Knox 是什么关系，为什么 Hortonworks 针对同一个位置提供两种解决方案？如果我想将它们应用于我的 Hadoop 集群，最佳实践是什么？

2. 为什么我必须使用 UserSync？或者换句话说，Ranger-Admin 有能力与 LDAP/AD 对话以获取用户，为什么它仍然需要 UserSync？如果 UserSync 还要与 LDAP/AD（或不同的 ldap 服务器）通信，会发生什么？它会影响 Ranger-Admin 自己的 LDAP/AD 连接吗？

3. 插件审计连接的类似问题，因为 Ranger-Admin 有审计连接，为什么插件需要自己连接到审计数据库？为什么他们不只是将审计信息推送给管理员，让管理员决定将信息存储在哪里？如果他们（管理员和插件）与不同的数据库对话，会发生什么？

我看过几个网站： https ://svn.apache.org/repos/asf/knox/site/books/knox-0-9-1/user-guide.html

只有一个java示例。hbase 也有一些示例，但它们没有使用 SQL。

HiveWebInterface 上的这个站点说它从 Hive 2.2.0 开始被删除。 https://cwiki.apache.org/confluence/display/Hive/HiveWebInterface

我正在研究 Hortonworks HDP 2.5.0

我只想发出简单的 SELECT 或 DDL 语句，看看是否可以通过 curl 运行它们。

这让我想知道通过 knox 的 ODBC/JDBC 接口是否使用相同的 http 接口。我知道 ODBC/JDBC 在 http 上。ODBC 机制是 https。jdbc 连接使用 knox http url。

因此，必须可以通过 knox 使用 curl 模拟查询配置单元。

通过 Knox 从 Oozie 获取一份工作信息的 URL 是 /v1/job/{oozie-id}?show=info

是否有任何 URL 可以一次批量处理多个 ID？

我创建了一个简单的 REST Web 服务，它{"code":4,"type":"ok","message":"hello there!"}从curl -k -u admin:admin -X GET "https://server.running.service:8447/demo/v1/test"

我想让所有用户通过 Apache Knox 访问 Web 服务，以便他们可以通过身份验证。但是，当我使用时，curl -k -u admin:admin -X GET "https://server.running.knox:8443/gateway/platform//hello/v1/test"我回来了：

查看 Knox gateway.log 文件，我可以看到这个错误：

我不确定将服务添加到 Knox 时是否犯了错误。我用以下内容创建了一个 rewrite.xml：

和一个 service.xml 具有以下内容：

platform.xml 文件具有：

我在设置 Knox 时犯了错误吗？为了能够通过 Knox 向我的服务发送命令，我还需要做一些其他配置吗？

我们在 Hortonworks 环境中使用 HBase 作为我们的存储选择。我们有一个节点正在运行，如果一切正常，我们计划升级到多个节点。目前，我们使用 Knox SSO 登录服务。

要访问 HBase 中的数据，我们使用 WebHBase api。通过 Knox SSO 登录可以正常工作。我们用来执行此操作的用户（“testuser”）对 Hbase 具有完全访问权限，在 Ranger 中配置。

但是，当我们通过 Knox 并到达 Hbase 时，出现了问题。不，我们得到用户“root”的异常。为什么它要求用户“root”，而我们想用“testuser”获取数据？显然，我们可以让用户成为“root”并给予完全许可，但这是非常不可取的。我们认为 Ranger/Knox 中有关服务的用户授权肯定存在一些错误。

这是我们通过 Knox 网关访问 webhbase API 时得到的堆栈跟踪：

禁止org.apache.hadoop.hbase.security.AccessDeniedException：org.apache.hadoop.hbase.security.AccessDeniedException：用户'root'权限不足，操作：scannerOpen，tableName：testtable，family：r。在 org.apache.ranger.authorization.hbase.RangerAuthorizationCoprocessor.authorizeAccess(RangerAuthorizationCoprocessor.java:511) 在 org.apache.ranger.authorization.hbase.RangerAuthorizationCoprocessor.preScannerOpen(RangerAuthorizationCoprocessor.java:901) 在 org.apache.ranger.authorization .hbase.RangerAuthorizationCoprocessor.preScannerOpen(RangerAuthorizationCoprocessor.java:856) 在 org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost$50.call(RegionCoprocessorHost.java:1267) 在 org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost$RegionOperation。调用（RegionCoprocessorHost.java：

745）引起：org.apache.hadoop.hbase.ipc.RemoteWithExtrasException（org.apache.hadoop.hbase.security.AccessDeniedException）：org.apache.hadoop.hbase.security.AccessDeniedException：用户'root'权限不足，行动：scannerOpen，tableName：rowphyste，family：r。在 org.apache.ranger.authorization.hbase.RangerAuthorizationCoprocessor.authorizeAccess(RangerAuthorizationCoprocessor.java:511) 在 org.apache.ranger.authorization.hbase.RangerAuthorizationCoprocessor.preScannerOpen(RangerAuthorizationCoprocessor.java:901) 在 org.apache.ranger.authorization .hbase.RangerAuthorizationCoprocessor.preScannerOpen(RangerAuthorizationCoprocessor.java:856) 在 org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost$50.call(RegionCoprocessorHost.java:1267) 在 org.apache.hadoop.hbase.regionserver。

我们目前没有在 Knox 拓扑中进行用户映射（即主体映射）。我的 gateway-audit.log 如下所示：

17/05/05 11:58:33 ||aac40856-3c3f-46a5-8b90-970d54bc0a21|audit|WEBHBASE||||access|uri|/gateway/default/hbase/testdatabase/ |不可用|请求方法：GET 17 /05/05 11:58:33 ||aac40856-3c3f-46a5-8b90-970d54bc0a21|审计|WEBHBASE||||访问|uri|/gateway/default/hbase/testdatabase/|成功|响应状态：302 17/05/05 11:58:33 ||5737b75b-9082-44e5-9afd-9675e9c36c43|审计|KNOXSSO||||访问|uri|/gateway/knoxsso/api/v1/websso ?originalUrl=mydomain/gateway/default/hbase/testdatabase/%2A|unavailable|请求方法：GET 17/05/05 11:58:33 ||5737b75b-9082-44e5-9afd-9675e9c36c43|audit|KNOXSSO|testuser| ||认证|uri|/gateway/knoxsso/api/v1/websso?originalUrl=mydomain/gateway/default/hbase/testdatabase/%2A|success| 2005 年 5 月 17 日 11:58:33 ||5737b75b-9082-44e5-9afd-9675e9c36c43|审计|KNOXSSO|testuser|||身份验证|uri|/gateway/knoxsso/api/v1/websso?originalUrl=mydomain/gateway /default/hbase/testdatabase/%2A|success|Groups: [] 17/05/05 11:58:|不可用|请求方法：GET 17/05/05 11:58:33 ||53594522-40b6-4040-ad2e-07e71a8ae112|audit|WEBHBASE||||dispatch|uri|mydomain:60080/testdatabase/ ?user.name =testuser|不可用|请求方法：GET 17/05/05 11:58:33 ||53594522-40b6-4040-ad2e-07e71a8ae112|audit|WEBHBASE||||dispatch|uri|mydomain:60080/testdatabase/ ?user .name=testuser|success|响应状态：403 17/05/05 11:58:33 ||53594522-40b6-4040-ad2e-07e71a8ae112|audit|WEBHBASE||||access|uri|/gateway/default/hbase /testdatabase/ |成功|响应状态：403

我正在尝试将 Knox 用于我的 MapReduce 工作。以前，我没有使用 Knox，MapReduce 作业需要 35 秒。

但是在使用 Knox 之后，我看到了一个额外的作业 - TempletonControllerJob 首先执行，它将启动我原来的 MapReduce 作业，这实际上需要更多时间 - 大约 1 分钟 20 秒！

我了解 MapReduce 作业现在是 TempletonControllerJob 的子作业。

• 但是我怎样才能让它更快呢？
• 为什么 TempletonControllerJob 需要这么长时间？

将 Knox (+LDAP) 用作根本不使用 Hadoop 的应用程序的身份验证代理是否有意义？

我是这个领域的新手，听说过这种可能性，但我不太明白。也许有一些可行的选择？

我正在使用 Hortonworks Sandbox，但通过 ssh 隧道连接到 HBase 时遇到问题。它以前确实有效，但是在重新启动服务器后，必须在我不知情的情况下更改了某些内容。

目前，连接总是被拒绝并显示错误消息：

错误 hadoop.gateway (KnoxLdapRealm.java:doGetAuthenticationInfo(198)) - Shiro 无法登录：javax.naming.CommunicationException：***：33389 [根异常是 java.net.ConnectException：连接被拒绝]

例如，在执行curl -ku admin:admin-password 'https://localhost:8443/gateway/default/hbase'. 因此，我认为 Knox 配置错误。但是，Ambari 及其服务似乎运行良好，没有其他错误消息。我尝试重新启动所有服务的服务时间但没有成功。

谁能给我任何提示我可以在哪里寻找问题？我已经尝试过这里的调试技巧（jps, lsof），但没有成功。

我设法在 Knox 中配置了一个 websocket 服务，用于测试目的是ws://echo.websocket.org

这是我的配置文件：

服务.xml

重写.xml

{拓扑}.xml部分：

我可以连接到它：

但我希望 Knox 仅在提供正确凭据时才接受连接：

我的 http 服务的 Knox 配置以这种方式工作，我必须输入凭据，否则我会得到 401：

我想用 websockets 达到同样的效果。

[编辑]

此外，我并不完全理解我的 websocket 服务的上述service.xml配置，因为它与我能够使用的 http 服务的最简单配置不同：

1. 为什么在我需要 websocket 服务的情况下，policies它们是什么意思？
2. 为什么<routes>/<route>有一个元素<rewrite>，它的语义是什么？它是否对应<rule>/<rewrite>于rewrite.xml？那里是什么request.url意思？