0

我有一个 HDFS 资源的游侠策略，看起来像...... 在此处输入图像描述 现在尝试通过hadoop fs <path to the hdfs location>两个不同的用户访问该 HDFS 路径：

# as an unauthorized user
[ml1@HW04 ml1c]$ hadoop fs -ls <path to the hdfs location>
ls: Permission denied: user=ml1, access=EXECUTE, inode="<path to the hdfs location>"

# as an authorized user
[hph_etl@HW04 hph_etl]$ hadoop fs -ls <path to the hdfs location>
Found 4 items
drwxrwxr-x   - hph_etl hph_etl          0 2019-07-31 15:13 <path to the hdfs location>
drwxrwxr-x   - hph_etl hph_etl          0 2019-08-07 10:52 <path to the hdfs location>
drwxrwxr-x   - hph_etl hph_etl          0 2019-07-31 14:28 <path to the hdfs location>
drwxrwxr-x   - hph_etl hph_etl          0 2019-07-26 16:12 <path to the hdfs location>

按预期工作。现在尝试通过ls -lh <nfs path to the hdfs location>本地文件系统：

# as an unauthorized user
[ml1@HW04 ml1c]$ ls -lh <nfs path to the hdfs location>
total 2.0K
drwxrwxr-x. 4 hph_etl hph_etl 128 Jul 31 15:13 export
drwxrwxr-x. 5 hph_etl hph_etl 160 Aug  7 10:52 import
drwxrwxr-x. 5 hph_etl hph_etl 160 Jul 31 14:28 storage
drwxrwxr-x. 3 hph_etl hph_etl  96 Jul 26 16:12 tests

# as an authorized user
[hph_etl@HW04 hph_etl]$ ls -lh <nfs path to the hdfs location>
total 2.0K
drwxrwxr-x. 4 hph_etl hph_etl 128 Jul 31 15:13 export
drwxrwxr-x. 5 hph_etl hph_etl 160 Aug  7 10:52 import
drwxrwxr-x. 5 hph_etl hph_etl 160 Jul 31 14:28 storage
drwxrwxr-x. 3 hph_etl hph_etl  96 Jul 26 16:12 tests

我们看到两个用户都能够通过 NFS 访问 HDFS 位置（即使只有hph_etl用户应该能够）。有人知道这里发生了什么吗？任何调试提示或修复？

更新：

显然，这不是意外的行为。与 Hortonworks 的人交谈，目的是...

  • 使用基于 POSIX 限制的权限通过 NFS 将 HDFS 的特定部分挂载到机器上
  • 然后让 NiFi（例如来自 HDF）不断监听这些位置，然后将数据加载到HDFS 中其他受 Ranger 保护的位置

对我来说，这似乎是一个安全问题，因为我可以轻松地做这样的事情

$ cd /hdfs_nfs_mount/some/private/location
$ head some_private_file.txt
<shows all the contents>

# even when Ranger would rather this user not go there...
$ whoami
<some unauthorized user>
$ hadoop fs -ls /some/private/location
ls: Permission denied: user=<some unauthorized user>, access=EXECUTE, inode="/some/private/location"

如果在仅将所有 HDFS 挂载到位于 HDFS 根目录的服务器的常规集群节点上。不写这个作为答案，因为有点希望这不是答案；将继续寻找。

4

1 回答 1

0

显然，这不是意外的行为。与 Hortonworks 的人交谈，目的是...

通过 NFS 将 HDFS 的特定部分安装到具有基于 POSIX 限制的权限的机器上，然后让 NiFi（例如来自 HDF）不断监听这些位置，然后将数据加载到 HDFS 中其他受 Ranger 保护的位置对我来说，这似乎是一个安全问题，鉴于我可以轻松地做这样的事情

$ cd /hdfs_nfs_mount/some/private/location
$ head some_private_file.txt
<shows all the contents>

# even when Ranger would rather this user not go there...
$ whoami
<some unauthorized user>
$ hadoop fs -ls /some/private/location
ls: Permission denied: user=<some unauthorized user>, access=EXECUTE, inode="/some/private/location"

如果在仅将所有 HDFS 挂载到位于 HDFS 根目录的服务器的常规集群节点上。

似乎使用 NFS 的常规方式是...

  • 将 HDFS NFS 网关安装在边缘集群节点上
  • 将此 NFS 安装到具有只写、POSIX 权限的客户端计算机（例如，通过 samba） （Apache Ranger 在这里根本无法提供帮助）
  • 在边缘节点和自然 SID 上使用SSSD（基本上可用于将 unix 凭据链接到活动目录凭据）或在客户端节点上使用 Active Directory（假设这里是 Windows 机器）访问客户端机器上挂载的 NFS 共享
  • 设置 NiFi（或其他 ETL）进程以检测放置在此共享中的数据并将其带到指定的 HDFS 位置（此时将能够强制执行 Ranger 策略）

因此，HDFS NFS 网关不适合读取文件或浏览 HDFS。为此，建议在 Ambari 中为各种集群用户创建用户帐户，并授予他们对FileViews的访问权限以浏览和下载文件（这将受到 Ranger 策略的保护）。

于 2019-09-04T23:47:19.720 回答