0

在我们的 HBase 表中，每一行都有一个名为 crawl identifier 的列。使用 MapReduce 作业，我们只想随时处理给定爬网中的行。为了更有效地运行作业，我们为扫描对象提供了一个过滤器（我们希望）它会删除除具有给定爬网标识符的行之外的所有行。但是，我们很快发现我们的作业没有处理正确的行数。

我编写了一个测试映射器来简单地计算具有正确爬网标识符的行数，没有任何过滤器。它遍历表中的所有行并计算正确的预期行数（~15000）。当我们做同样的工作，为扫描对象添加一个过滤器时，计数下降到约 3000。在这两项工作期间或之间，没有对桌子本身进行任何操作。

由于添加扫描过滤器会导致可见行发生如此巨大的变化，我们预计我们只是错误地构建了过滤器。

我们的 MapReduce 作业具有单个映射器：

public static class RowCountMapper extends TableMapper<ImmutableBytesWritable, Put>{

    public String crawlIdentifier;

    // counters
    private static enum CountRows {
        ROWS_WITH_MATCHED_CRAWL_IDENTIFIER
    }

    @Override
    public void setup(Context context){
        Configuration configuration=context.getConfiguration();
        crawlIdentifier=configuration.get(ConfigPropertyLib.CRAWL_IDENTIFIER_PROPERTY);

    }

    @Override
    public void map(ImmutableBytesWritable legacykey, Result row, Context context){
        String rowIdentifier=HBaseSchema.getValueFromRow(row, HBaseSchema.CRAWL_IDENTIFIER_COLUMN);
        if (StringUtils.equals(crawlIdentifier, rowIdentifier)){
            context.getCounter(CountRows.ROWS_WITH_MATCHED_CRAWL_IDENTIFIER).increment(1l);
        }
    }
}

过滤器设置是这样的：

String crawlIdentifier=configuration.get(ConfigPropertyLib.CRAWL_IDENTIFIER_PROPERTY);
if (StringUtils.isBlank(crawlIdentifier)){
    throw new IllegalArgumentException("Crawl Identifier not set.");
}

// build an HBase scanner
Scan scan=new Scan();
SingleColumnValueFilter filter=new SingleColumnValueFilter(HBaseSchema.CRAWL_IDENTIFIER_COLUMN.getFamily(),
    HBaseSchema.CRAWL_IDENTIFIER_COLUMN.getQualifier(),
    CompareOp.EQUAL,
    Bytes.toBytes(crawlIdentifier));
filter.setFilterIfMissing(true);
scan.setFilter(filter);

我们使用了错误的过滤器，还是我们配置错误？

编辑：我们正在考虑按照https://issues.apache.org/jira/browse/HBASE-2198手动添加所有列族，但我很确定扫描默认包含所有族。

4

1 回答 1

0

过滤器看起来是正确的，但在某些情况下，可能导致这种情况的一种情况与字符编码有关。您的过滤器正在使用使用 UTF8 [1] 的 Bytes.toBytes(String)，而您可能在 HBaseSchema 中使用本机字符编码，或者如果您使用 String.getBytes()[2]，则在编写记录时。使用以下内容检查 crawlIdentifier 是否最初写入 HBase，以确保过滤器在过滤后的扫描中进行类似的比较。

Bytes.toBytes(crawlIdentifier)

[1] http://hbase.apache.org/apidocs/org/apache/hadoop/hbase/util/Bytes.html#toBytes(java.lang.String ) [2] http://docs.oracle.com/ javase/1.4.2/docs/api/java/lang/String.html#getBytes ()

于 2012-06-08T11:11:56.087 回答