0

我正在尝试找到一种在 Java 中使用目录结构序列化数据的方法。我要保存的数据是股票交易记录,每条记录都包含股票名称、价格、时间和交易量。我知道如何在没有任何层次结构的情况下序列化此类记录(“交易”类的实例),但我必须在阅读时遍历所有(例如数十亿条)记录来收集单个特定股票的数据。所以,我希望数据按股票名称进行分区,这样当只需要几只股票的数据时,我的读取性能就会快得多。

我知道你可以在 HDF5 中创建这样的分层结构(目录),但我正在寻找一个不使用 JNI 并且对 HDFS 更友好的 Java 序列化库。经过一些在线搜索,我发现 Kryo 是最新且最容易使用的 Java 序列化库之一。所以我希望有一些方法可以在 Kryo 文件中创建目录结构,但其他现代序列化库,如 Avro、Thrift 也可以。

谢谢您的帮助。

4

1 回答 1

0

可能为时已晚,但如果您仍然需要它,您可以查看dfs-datastoresNathan Marz 开发的库。您可以根据文件夹结构定义自己的数据存储,这里是链接https://github.com/nathanmarz/dfs-datastores/tree/develop/dfs-datastores/src

于 2015-07-13T22:21:15.383 回答