1

我目前正在开发一个带有 Hadoop 集群的未来项目。我需要查找有关集群安全性的信息。

我找到了似乎是我们需要的 API Apache Knox Gateway。我们现在使用 Cloudera 4.5。未来，我们将升级到 Cloudera 5。

我的问题是 Knox 似乎与 Cloudera 4.5 不兼容（http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH-Version-and-Packaging-Information/cdhvd_topic_3。 html ).

WebHDFS                   2.4.0 
WebHCat/Templeton         0.13.0    0.12.0  
Ozzie                     4.0.0
HBase/Stargate            0.98.0
Hive (via WebHCat)        0.13.0
Hive (via JDBC)           0.13.0

（http://knox.apache.org/books/knox-0-4-0/knox-0-4-0.html#Quick+Start）

根据该网站，这是唯一经过测试的版本。有人对此 API 和 Cloudera 4.5 有经验吗？

如果它不能工作，是否有任何解决方案可以确保集群安全？

4

1 回答 1

5

首先，Apache Knox 是一种在集群外围为 REST API 访问提供安全性的方法。如果确实需要，它不能替代 Hadoop 集群中的 kerberos 安全性。它还通过将 REST API 的范围扩展到企业来继续补充启用了 kerberos 的集群。它还为最终用户访问提供了一些额外的身份解决方案集成。

如果您想要的是真正的 Hadoop 安全性，那么您需要查看 Hadoop kerberos 部署选项。

现在，至于 knox/CDH 兼容性...

不幸的是，Knox 0.4.0 支持的服务组件版本不能很好地映射到 CDH 4.5 版本。看起来即使是 0.3.0 版本也比 CDH 4.5 更新。

尽管 HBase 仍然落后，但 CDH 5.0 似乎排列得更好。从我在这里看到的- 我只能假设这是准确的。

我的建议是针对 CDH 5 尝试使用 Apache Knox 并让 knox 社区遇到任何困难 - 可能会有我们可以提供帮助的变通方法。根据您的 REST 需求 - 可能有足够的对齐来满足您的需求。

于 2014-05-08T01:27:31.703 回答