0

我们有一个文件源,每个文件的大小从几 MB 到几 GB 不等。每个文件都有唯一的名称,并且可以映射到一个人。然而,个人信息来自不同的来源,但它不在文件系统中。

现在,我们需要将所有文件移动到 HDFS 并构建 UI 以将人员信息添加到文件中,并稍后根据人员信息搜索文件。

我正在考虑每晚使用 WebHDFS 移动文件(以便我们可以使用 knox 保护集群)并构建 UI 以将人员信息添加到 HBase 并将人员链接到适当的文件(用户可以将文件名映射到人员)。每个 HBase 记录都会有人员信息和 hdfs 文件的路径。

我想知道上述架构是否有任何不好的影响。可以在 HBase 记录中包含 HDFS 文件路径吗?

4

0 回答 0