2

我是 RocksDB abd 的新手，试图在 Java 中创建一个 SST 文件以进行批量加载。最终用例是在 Apache Spark 中创建它。

我rocksdbjni在 Ubuntu 18.04.03 中使用 6.3.6

我不断收到此错误，

org.rocksdb.RocksDBException: Keys must be added in order
    at org.rocksdb.SstFileWriter.put(Native Method)
    at org.rocksdb.SstFileWriter.put(SstFileWriter.java:104)
    at CreateSSTFile.main(CreateSSTFile.java:34)

示例代码是


 public static void main(String[] args) throws RocksDBException {
        RocksDB.loadLibrary();

        final Random random = new Random();


        final EnvOptions envOptions = new EnvOptions();
        final StringAppendOperator stringAppendOperator = new StringAppendOperator();
        Options options1 = new Options();
        SstFileWriter fw = null;
        ComparatorOptions comparatorOptions = new ComparatorOptions();

        try {

            options1 = options1
              .setCreateIfMissing(true)
              .setEnv(Env.getDefault())
              .setComparator(new BytewiseComparator(comparatorOptions));

            fw = new SstFileWriter(envOptions, options1);

            fw.open("/tmp/db/sst_upload_01");
            for (int index = 0; index < 1000; index++) {
                Slice keySlice = new Slice(("Key" + "_" + index).getBytes());
                Slice valueSlice = new Slice(("Value_" + index + "_" + random.nextLong()).getBytes());
                fw.put(keySlice, valueSlice);
            }

            fw.finish();
        } catch (RocksDBException ex) {
            ex.printStackTrace();
        } finally {
            stringAppendOperator.close();
            envOptions.close();
            options1.close();
            if (fw != null) {
                fw.close();
            }
        }
    }

如果循环索引小于 10，则文件创建成功，我能够将其摄取到 Rocks db 中。

提前致谢。

4

3 回答 3

1

我想我发现了代码的问题。

密钥必须符合 SST 的顺序。我进行循环和使用字符串字典比较进行排序的方式会产生不正确的排序。就像比较“10”和“9”会破坏顺序一样。相反，如果我在插入 SST 文件之前对所有键进行排序，它就可以工作。

Map<String, String> data = new HashMap<>();
            for (int index = 0; index < 1000; index++) {
                data.put("Key-" + random.nextLong(), "Value-" + random.nextDouble());
            }

            List<String> keys = new ArrayList<String>(data.keySet());

            Collections.sort(keys);

            for (String key : keys) {
                Slice keySlice = new Slice(key);
                Slice valueSlice = new Slice(data.get(key));
                fw.put(keySlice, valueSlice);
            }

当我尝试使用整数键时，我发现了问题。

于 2019-11-10T09:58:45.953 回答
1

sstfile 中的键应按升序排列。所以你可以从 index=10 开始它会起作用。

于 2022-02-16T10:04:39.630 回答
0

实际上，您可以创建 Comparator 扩展 DirectComparator 以避免排序。

class MyComparator extends DirectComparator {

        public MyComparator(ComparatorOptions copt) {
            super(copt);
        }

        @Override
        public String name() {
            return "MyComparator";
        }

        @Override
        public int compare(DirectSlice a, DirectSlice b) {
            // always true
            return 1;
        }
    }
}

然后设置选项

options1.setComparator(new MyComparator(comparatorOptions));
于 2020-11-18T02:25:46.443 回答