0

我写了一个简单的测试程序来插入一行。与普通 HBase Put 示例程序的唯一不同点是 Put 实例及其 KeyValue 实例是使用时间戳创建的。

预期的行为是插入一行。但是，在我的 HBase 环境中，没有插入任何行。

下面是我的测试程序。

import java.io.*;
import java.util.*;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.*;

public class Test
{
    // Names of table, family, qualifier and row ID.
    private static final byte[] TABLE     = Bytes.toBytes("test-table");
    private static final byte[] FAMILY    = Bytes.toBytes("test-family");
    private static final byte[] QUALIFIER = Bytes.toBytes("test-qualifier");
    private static final byte[] ROWID     = Bytes.toBytes("test-rowid");

    /**
     * The entry point of this program.
     *
     * <p>
     * This program assumes that there already exists an HBase
     * table named "test-table" with a column family named
     * "test-family". To create an HBase table satisfying these
     * conditions, type the following at the hbase shell prompt.
     * </p>
     *
     * <pre>
     * hbase&gt; create 'test-table', 'test-family'
     * </pre>
     *
     * <p>
     * This program inserts a row whose row ID is "test-rowid"
     * with a column named "test-family:test-qualifier". The
     * value of the column is the string expression of
     * <code>new Date()</code>.
     * </p>
     */
    public static void main(String[] args) throws Exception
    {
        // Get the table.
        Configuration conf = HBaseConfiguration.create();
        HTable table = new HTable(conf, TABLE);

        // Prepare data to put.
        byte[] value = Bytes.toBytes(new Date().toString());
        Put put = new Put(ROWID);
        put.add(FAMILY, QUALIFIER, value);

        // Clone Put with a timestamp.
        put = clone(put, 10);

        // Put the data.
        table.put(put);

        // Read back the data.
        Get get = new Get(ROWID);
        Result result = table.get(get);

        // Dump the read data.
        System.out.println("DATA = " + result.toString());
    }

    /**
     * Clone the given Put instance with the given timestamp.
     */
    private static Put clone(Put a, long timestamp) throws IOException
    {
        // Create a Put instance with the specified timestamp.
        Put b = new Put(a.getRow(), timestamp);

        Map<byte[], List<KeyValue>> kvs = a.getFamilyMap();

        // Copy KeyValue's from the source Put (a) to
        // the cloned Put (b). Note the given timestamp
        // is used for each new KeyValue instance.
        for (List<KeyValue> kvl : kvs.values())
        {
            for (KeyValue kv : kvl)
            {
                b.add(new KeyValue(
                    kv.getRow(),
                    kv.getFamily(),
                    kv.getQualifier(),
                    timestamp,
                    kv.getValue()));
            }
        }

        return b;
    }
}

该程序生成的控制台输出如下。

DATA = keyvalues=NONE

hbase shell 上的“扫描”显示“0 行”。

hbase(main):011:0> scan 'test-table'
ROW                                              COLUMN+CELL
0 row(s) in 0.0080 seconds

注释掉代码行以克隆一个 Put 实例，如下所示，

        // Clone Put with a timestamp.
        //put = clone(put, 10);

也就是说，使用不带时间戳参数创建的 Put 实例会改变程序的行为。在这种情况下，控制台输出显示插入的值，

DATA = keyvalues={test-rowid/test-family:test-qualifier/1344594210281/Put/vlen=28}

“扫描”显示插入的行。

hbase(main):012:0> scan 'test-table'
ROW                                              COLUMN+CELL
 test-rowid                                      column=test-family:test-qualifier, timestamp=1344594210281, value=Fri Aug 10 19:23:30 JST 2012
1 row(s) in 0.0110 seconds

在我的测试程序中使用时间戳克隆 Put 实例的逻辑是从一个已知可以工作的开源项目中摘录的。所以，我猜这个问题的根本原因存在于我的 HBase 环境中，但我不知道。我的调查可能不够充分，但我还没有在 HBase 日志中看到任何错误。

任何人都可以告诉我这个问题吗？

4

3 回答 3

0

时间戳列族和列名构成组合键。这里的时间戳是 UNIX 时间戳。

于 2012-08-11T04:11:00.060 回答
0

KeyValueTestUtil.create 可以创建 KeyValue 对象，并将其设置为 Put

于 2013-02-27T01:12:33.420 回答
0

我不确定这会有所帮助，但是 - 我以前去过那里，所以，只是想帮助你调试你的逻辑。

我要确保的第一件事是您以前从未删除过该行。H-Base Delete 的工作方式是将墓碑标记放置在与当前时间戳相关的（ Row/KeyValue ）位置（除非您指定了另一个）。Soooo - 如果你在删除后拍了一个 Put，并且没有发生重大压缩，你将永远看不到你的 Put ...这是一个线程：https ://issues.apache.org/jira/browse /HBASE-5241 - 在执行另一个测试周期之前，您可以尝试从该表上的 H-Base shell 执行“major_compact”。

..这是我的第一个猜测...它符合以下测试场景：在当前时间放置，执行扫描，断言放置操作有效（是的，它确实 - 是的！），然后，删除当前数据以重置托盘，执行下一个 用较小的时间戳放 - 执行扫描 - 刮头......

分手的想法 - Get 操作总是返回 KeyValue 的最新版本。所以...如果在您的测试中您执行一个时间戳为 T1 的 Put，然后您执行一个时间戳为 T2 且 T2 < T1 的 Put，那么，当您执行 Get 操作时，您将获得相关的值与 T1。这最初可能是违反直觉的，但是 - 一切都很好:)

希望里面的东西对你的旅程有所帮助......

于 2013-05-24T04:46:09.130 回答