1

我正在编写一些代码来访问 HBase，并且我正在编写单元测试来创建 MiniDFSCluster 作为测试设置的一部分。

(defn test-config [& options]
    (let [testing-utility (HBaseTestingUtility.)]
        (.startMiniCluster testing-utility 1)
        (let [config (.getConfiguration testing-utility)]
            (if (not= options nil)
                (doseq [[key value] options]
                    (.set config key value)))
            config)))

;; For those who don't read Clojure, lines 2 and 3 cause 
;; the failure and are equivalent to the following Java
;; 
;; HBaseTestingUtility testingUtility = new HBaseTestingUtility();
;; testingUtility.startMiniCluster(1);  // blows up on Linux but not Mac OSX

这在带有 Java HotSpot 的 Mac OSX 上运行良好：

$ java -version
java version "1.6.0_51"
Java(TM) SE Runtime Environment (build 1.6.0_51-b11-457-11M4509)
Java HotSpot(TM) 64-Bit Server VM (build 20.51-b01-457, mixed mode)

$ lein test

lein test hbase.config-test

lein test hbase.table-test
2013-07-12 17:44:13.488 java[27384:1203] Unable to load realm info from SCDynamicStore
Starting DataNode 0 with dfs.data.dir: /Users/dwilliams/Desktop/Repos/mobiusinversion/hbase/target/test-data/fe0199fd-0168-48d9-98ce-b4a5e62d3257/dfscluster_bbad1095-58d1-4571-ba12-4d4f1c24203f/dfs/data/data1,/Users/dwilliams/Desktop/Repos/mobiusinversion/hbase/target/test-data/fe0199fd-0168-48d9-98ce-b4a5e62d3257/dfscluster_bbad1095-58d1-4571-ba12-4d4f1c24203f/dfs/data/data2
Cluster is active

Ran 11 tests containing 14 assertions.
0 failures, 0 errors.

但是在Linux环境下运行时，会出现以下错误：

ERROR in (create-table) (MiniDFSCluster.java:426)
Uncaught exception, not in assertion.
expected: nil
  actual: java.lang.NullPointerException: null
 at org.apache.hadoop.hdfs.MiniDFSCluster.startDataNodes (MiniDFSCluster.java:426)
    org.apache.hadoop.hdfs.MiniDFSCluster.<init> (MiniDFSCluster.java:284)
    org.apache.hadoop.hbase.HBaseTestingUtility.startMiniDFSCluster (HBaseTestingUtility.java:444)
    org.apache.hadoop.hbase.HBaseTestingUtility.startMiniCluster (HBaseTestingUtility.java:612)
    org.apache.hadoop.hbase.HBaseTestingUtility.startMiniCluster (HBaseTestingUtility.java:568)
    org.apache.hadoop.hbase.HBaseTestingUtility.startMiniCluster (HBaseTestingUtility.java:555)

我提交了一张 travis-ci 票，因为这首先在那儿表现出来，我认为这可能是由于他们的环境。

https://github.com/travis-ci/travis-ci/issues/1240

但是，在与 travis 支持人员讨论后，我能够在 CentOS 上重现该错误。我在 Linux 上尝试了 Sun JDK 和 OpenJDK，都产生了同样的错误。这里发生了什么？这是一个微不足道的配置问题吗？也许在 Mac OSX 的 ENV 中设置的 Linux ENV 中没有设置一些东西？

如果您想运行测试，请克隆 repo

https://github.com/mobiusinversion/hbase

并运行 lein 测试。非常感谢您的帮助！

更新：

提交了这张 HBASE Jira 票

https://issues.apache.org/jira/browse/HBASE-8944

4

1 回答 1

4

简短的回答：umask 022在运行测试之前设置“”。

长答案：这是从 Hadoop 1.x 版本运行 MiniDFSCluster 的常见环境问题，HBaseTestingUtility 在内部使用该版本。它已在 Hadoop 0.22+（包括 2.0+，但目前不包括 1.x）中得到有效修复。

根本问题是https://issues.apache.org/jira/browse/HDFS-2556。

当 MiniDFSCluster 启动时，它会创建用于数据节点进程的临时存储目录（配置为“dfs.data.dir”）。这些将使用您当前设置的 umask 创建。当每个数据节点启动时，它会检查“dfs.data.dir”中配置的目录是否都存在并且目录权限是否与预期值匹配（设置为“dfs.datanode.data.dir.perm”）。如果目录权限与预期值不匹配（默认为“755”），则退出数据节点进程。

默认情况下，在 Hadoop 1.x 中，此值设置为“755”，因此如果您将 umask 设置为“022”，数据目录将以正确的权限结束。但是，如果权限与预期值不匹配，则数据节点将中止，您将在测试日志文件中看到如下错误：

WARN  [main] datanode.DataNode(1577): Invalid directory in dfs.data.dir: Incorrect permission for /.../dfs/data/data2, expected: rwxr-xr-x, while actual: rwxrwxr-x

在更高版本的 Hadoop 中，如果目录权限不匹配，datanode 将尝试将目录权限更改为预期值。仅当此操作失败时，datanode 才会中止。HDFS-2556 建议将此更改向后移植到 1.x 版本，但尚未修复。

于 2013-07-15T23:11:25.763 回答