问题标签 [knox-gateway]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1079 浏览

hive - 无法通过 knox 连接到 hive 服务器

我正在使用下面提到的连接 URL 使用直线连接到配置单元服务器。

!connect jdbc:hive2://sandbox.hortonworks.com:21000/default;ssl=true;sslTrustStore=/var/lib/knox/data-2.3.2.0-2950/security/keystores/gateway.jks;trustStorePassword=knox ?hive.server2.transport.mode=http;httpPath=gateway/default/hive

连接后,我收到下面提到的错误。

无法使用 JDBC Uri 打开客户端传输:jdbc:hive2://sandbox.hortonworks.com:21000/default;ssl=true;sslTrustStore=/var/lib/knox/data-2.3.2.0-2950/security/keystores/ gateway.jks;trustStorePassword=knox?hive.server2.transport.mode=http;httpPath=gateway/default/hive: 无法创建到 jdbc:hive2://sandbox.hortonworks.com:21000/default;ssl= 的 http 连接true;sslTrustStore=/var/lib/knox/data-2.3.2.0-2950/security/keystores/gateway.jks;trustStorePassword=knox?hive.server2.transport.mode=http;httpPath=gateway/default/hive。javax.net.ssl.SSLException:无法识别的 SSL 消息,明文连接?(状态=08S01,代码=0)

请帮我解决这个错误。

0 投票
1 回答
1049 浏览

java - Spring Boot Hadoop、Webhdfs 和 Apache Knox

我有一个 Spring 引导应用程序,它通过由 Kerberos 保护的 Apache Knox 保护的 Webhdfs 访问 HDFS。我KnoxWebHdfsFileSystem使用自定义方案 ( swebhdfsknox ) 创建了自己的子类WebHdfsFilesystem,它只更改 URL 以包含 Knox 代理前缀。所以它有效地重新映射来自表单的请求:

http://host:port/webhdfs/v1/...

到诺克斯一号:

http://host:port/gateway/default/webhdfs/v1/...

我通过覆盖两种方法来做到这一点:

  1. public URI getUri()
  2. URL toUrl(Op op, Path fspath, Param<?, ?>... parameters)

到现在为止还挺好。我让 spring bootFsShell为我创建并将其用于各种操作,例如列表文件mkdir等。一切正常。除了copyFromLocal,如文档所述,它需要 2 个步骤和重定向。最后一步,当文件系统尝试访问在LocationPUT标头中接收到的最终 URL时,它会失败并出现错误:

我怀疑问题出在重定向,但无法弄清楚这里可能存在什么问题。如果我通过curl执行相同的请求,则文件成功上传到 HDFS。

0 投票
2 回答
107 浏览

java - Eclipse 错误:Put.Request 类型不可见

我正在使用来自 Java 类的 knox 客户端 dsl,如下所示:

但是,Eclipse 显示错误:

任何指针?

0 投票
1 回答
506 浏览

web-services - 带有 HBase、KNOX 和 NiFi 的 REST Web 服务

我正在使用 Hortonworks,我想设置一个 REST 网络服务。数据存储在 HBase 中,我想用 KNOX 和 Ranger 保护它。我不确定是否可以使用 NiFi 对其进行配置,因此我可以调用 REST API 并从 HBase(使用 Hive)获取数据。重要的是,使用 KNOX 保护连接,我也可以使用 Ranger 来保护数据安全。

  1. 我可以使用 NiFi 吗?
  2. 适合用例的最佳解决方案/架构是什么?

如果还可以添加一些相关的高级信息,那就太好了,这样我就可以更深入地研究这个主题了。

谢谢你的先进和最好的问候n3

0 投票
1 回答
453 浏览

knox-gateway - 拓扑部署中的 Knox 网关错误

我收到 knox 错误,无法访问任何服务 ui。

“2016-09-19 21:43:49,159 错误 hadoop.gateway (GatewayServer.java:handleCreateDeployment(479)) - 无法部署拓扑 nodemanagerui: org.apache.hadoop.gateway.deploy.DeploymentException: 未能贡献提供者。角色: iop-util 名称:用户名。请检查拓扑中名称和角色的错误,以及提供程序是否在类路径上。”

到目前为止,在我看来,一切都显得格格不入。只是在部署文件夹中没有得到除了管理员拓扑战争之外的任何东西。请提出一些建议。

0 投票
1 回答
380 浏览

hadoop - hortonworks 沙盒上的诺克斯网关

我已经安装了 knox 服务器并完成了 hortonworks 网站上提到的所有步骤。当我在沙箱上运行以下命令时,它给了我正确的输出。

现在我有另一个运行 fedora 的 VM。我假设它是外部客户端并尝试进行外部访问但没有输出:-

有人可以指出我的设置有什么问题。

0 投票
2 回答
363 浏览

apache - apache knox 的健康检查

我想创建一个健康检查机制,以确保我删除了在负载均衡器后面配置的不健康的 Knox 实例。

对底层实例的正常 ping 将有助于检查机器是否可访问。但这无助于确定网关是否健康/正在运行以向该实例提供传入请求。

我可以通过 LB 向 Knox 发出请求,但它只会转到一个实例并且无法知道它。

我想知道是否有任何方法可以确定相同的?还是 Knox 本身提供了一种机制,尽管我可以对网关服务器进行 http(非安全,因为不允许直接 https 调用实例)调用并确定?

谢谢!!

0 投票
1 回答
913 浏览

hive - HiveSever2 security using knox

CASE1: I want to secure hive using knox .So i did integration between hive ldap and knox. I am able to access hive server2 using excel and odbc driver using knox as well as jdbc as well But on sametime when i am testing default login on beeline/ODBC i am able to do it using below with any user and password which ideally should not happen

Connecting to jdbc:hive2://<hostip>:10001/default;transportMode=http;httpPath=cliservice

CASE2: I have enable LDAP authentication on hive-server2 , now default login to beeline is disable only LDAP is allowed using port 10001 . But know when i am testing it through knox , i am getting Invalid credentials error.

How can i disable default logins usings in case 1. Or if i have to use case 2 , how can i resolve this issue .

0 投票
1 回答
1236 浏览

apache-spark-sql - 通过 Knox 连接到 Spark thriftserver

我正在尝试通过 Knox 在受 Kerberos 保护的集群中连接到 SparkSQL thriftserver (Spark 1.6.2)(Hadoop 发行版是 HDP 2.4.2)。我们为 Hive 提供了相同的架构,并且运行良好。由于 Spark 使用相同的 thriftserver,我认为做同样的事情是微不足道的,但事实并非如此。

通过 Knox 连接时 Spark thriftserver 引发的错误是:

有人对此有任何想法以及如何解决吗?

谢谢你,马可

0 投票
1 回答
729 浏览

knox-gateway - 如何将自定义服务集成到 apache knox 0.9.1

我需要将各种服务 webUI 集成到 knox 网关中。目前,我使用 CAS 作为身份验证,并且 hdfs、hbaseUI、sparkHistoryUI 工作正常。我搜索了谷歌和百度,没有找到 knox rewrite.xml 的详细资料或文档,所以我在集成 kibana、hue 等新服务时遇到了问题。根本原因是 rewrite.xml 包含许多我一无所知的标签和 attr。作为尝试,我集成了tomcat7.0 ROOT webapp。这里是对应的service.xml和rewrite.xml:

服务.xml

重写.xml

当我连接tomcat主页时,一切正常。但是当我点击导航栏中的超链接“配置”时。我在浏览器中获得了无限数量的重定向,最后是“ERR_TOO_MANY_REDIRECTS”。我的问题是:1)如何编写 rewrite.xml 以使此演示正常工作。2)是否有任何关于重写标签细节的材料或文件可以分享,如果有人能提供帮助,我将不胜感激。谢谢!