问题标签 [rocksdb]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
6 回答
6075 浏览

java - 使用 Kafka Streams 开发时,Lib Rocks DB dll 上的 UnsatisfiedLinkError

我正在我的开发 Windows 机器上编写一个 Kafka Streams 应用程序。如果我尝试使用 Kafka Streams 的leftJoinbranch功能,在执行 jar 应用程序时会出现以下错误:

似乎 Kafka 没有找到 DLL,但等等……我正在开发一个 Java 应用程序!

可能是什么问题呢?如果我尝试做更简单的流式操作,为什么这个错误不会显示出来filter

更新:

仅当代理中存在消息时才会出现此问题。我正在使用 Kafka Streams 版本 0.10.2.1。

这是引发问题的一段代码

我打开了rocksdbjni-5.0.1.jarMaven 下载的存档,其中包含该librocksdbjni-win64.dll库。似乎它试图从 RocksDB 外部而不是内部检索库。

我正在 Windows 7 机器上开发。

你有没有遇到过这个问题?

0 投票
1 回答
1031 浏览

apache-kafka - Kafka Streams - 低级处理器 API - RocksDB TimeToLive(TTL)

我正在尝试使用低级处理器 API。我正在使用处理器 API 对传入记录进行数据聚合,并将聚合记录写入 RocksDB。

但是,我想保留添加到 RocksDB 中的记录,使其仅在 24 小时内处于活动状态。24 小时后应删除记录。这可以通过更改 ttl 设置来完成。但是,没有太多文档可以让我获得一些帮助。

如何更改 ttl 值?我应该使用什么 java api 将 ttl 时间设置为 24 小时,以及当前默认的 ttl 设置时间是什么?

0 投票
1 回答
63 浏览

rocksdb - RocksDB:支持核外?相关表现?

我正在启动一个新软件,它应该能够处理大型数据集,即一些 TB 的数据。

我已经看到 Rocksdb 允许存储大型数据集,但我不确定它是不是核心功能?我的意思是,如果数据集大于计算机 RAM,它会处理它吗?

此外,如果没有交换,是否有一些关于使用这种内存数据存储的性能影响研究?谢谢

0 投票
1 回答
563 浏览

openssl - MariaDB 10.2 和 Openssl 1.1.0e 出现错误“MD5_CONTEXT 类型不完整”

我无法在 CentOS 7 中构建启用 RocksDB 的 MariaDB 10.2。

它有以下编译错误:

这是我用来构建它的命令:

yum install g++ cmake libbz2-dev libaio-dev bison zlib1g-dev libsnappy-dev libgflags-dev libreadline6-dev libncurses5-dev libssl-dev liblz4-dev gdb git

我猜是 OpenSSL 版本的问题,也许 MariaDB 只支持旧的 OpenSSL 版本。

那么,有人知道如何解决吗?

我的版本:

  • OpenSSL 1.1.0e 2017 年 2 月 16 日
  • g++ (GCC) 4.8.5 20150623

谢谢,

0 投票
0 回答
238 浏览

database - Hyperledger Fabric Rocksdb 数据库、检索和修改

我正在努力弄清楚 Fabric v0.6 确实不允许非法修改数据。除了我想直接修改“sst”格式的数据。我想使用其他一些方法,例如创建数据库实例,然后检索所有数据 -> 修改它们 -> 将它们放回去并正常为对等方加注星标。但是当我尝试创建 Rocksdb 的实例时,我收到了这个错误

Rocksdb 错误列族未打开...

基于本教程: http: //pyrocksdb.readthedocs.io/en/v0.4/tutorial/index.html

如果它是一个新的数据库,那很好。当涉及到区块链数据库时,我遇到了一些错误。

0 投票
0 回答
506 浏览

caching - 使用 RocksDB 作为图像缩略图的本地缓存

我正在为 macOS 构建一个桌面应用程序,允许用户浏览视频集合。为每个视频生成缩略图是一项相对昂贵的操作,因此我想缓存已生成的所有缩略图。此缓存不需要在应用程序启动时持续存在。速度并不那么重要,因为几乎任何东西都比解码视频帧更快。

我正在考虑使用 RocksDB 来存储缩略图,并且想知道这是否适合使用 RocksDB。大多数 RocksDB 文档都涉及设置和获取字符串作为值,但在最近的版本中,添加PinnableSlice似乎更容易存储二进制数据。在我的应用程序中,我会为最大 512 x 512px 的缩略图存储高度压缩的 JPEG 数据。

以这种方式使用 RocksDB 时,我应该考虑什么?是否有任何配置选项有助于针对此类用例进行调整或调整?如果 RocksDB 保持较低的内存开销,我会更喜欢,因为我愿意在需要缩略图时承受从磁盘读回的性能损失。

(如果一开始使用 RocksDB 作为图像缓存是一个非常糟糕的主意,那么我想更好地理解为什么。)

0 投票
1 回答
1465 浏览

apache-flink - 由于字节序不匹配,无法使用 Flink RocksDB 状态后端

我的 Flink 作业从 kafka 主题中读取数据并将数据存储在 RocksDB 状态后端,以利用可查询状态。我可以在本地机器上运行作业并查询状态。但是在集群上部署时,出现以下错误:

我尝试在集群级别和作业级别设置 RocksDB 状态后端。当它设置在工作级别时,我将其作为阴影依赖项提供。我也尝试在主机集群机器上编译代码。在所有情况下,我都会遇到相同的错误。

我该如何解决这个错误?

0 投票
1 回答
5547 浏览

apache-kafka - RocksDb sst 文件的 Gui 查看器

我正在使用 Kafka 将数据保存到 RocksDB 中。

现在我想看看 Kafka 创建的数据库键和值。我下载了 FastNoSQL 并尝试但失败了。

该文件夹包含:

  • .sst 文件
  • 。日志文件
  • 当前文件
  • 身份文件
  • 锁定文件
  • 日志文件
  • 清单文件
  • 选项文件

如何查看值?

0 投票
2 回答
72 浏览

python - 如何通过dict键值方便dict记录过滤?

我想在我的 python 应用程序中与 Rocksdb 交互并在其中存储任意字典。我收集到这一点,我可以使用像泡菜这样的东西来进行序列化。但我需要能够根据键的值过滤记录。这里的正确方法是什么?

0 投票
1 回答
221 浏览

php - myrocks (mariadb + rocksdb) php 字符集

已经有很多关于为 mysql 选择正确字符集的帖子,但对于 Rocksdb 引擎来说,这又是一个不同的(而且非常令人沮丧)的故事。

首先,我决定使用 utf8-binary 作为字符集(myrocks 支持 latin1、utf8-bin 和二进制),因为我的数据可能包含特殊字符,我想保存。

此外,我使用 PHP 和 PDO 将数据加载到 mysql 中,连接如下所示:

所以我将字符集设置为 utf8(我也尝试过使用utf8_bin,但 PDO 不支持)。虽然,我可以插入一些行,但有时我会收到如下错误:

不正确的字符串值:列 'column_name' 的 '\xF0\x9F\x87\xA8\xF0\x9F...'

但是现在的错误是什么?此十六进制序列编码一个 unicode-smily(区域指示符号字母 c + 区域指示符号字母 n)。对我来说,似乎有效的 utf8 和 mysql 以及 php 都配置为使用它。