问题标签 [rocksdb]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
java - 使用 Kafka Streams 开发时,Lib Rocks DB dll 上的 UnsatisfiedLinkError
我正在我的开发 Windows 机器上编写一个 Kafka Streams 应用程序。如果我尝试使用 Kafka Streams 的leftJoin
和branch
功能,在执行 jar 应用程序时会出现以下错误:
似乎 Kafka 没有找到 DLL,但等等……我正在开发一个 Java 应用程序!
可能是什么问题呢?如果我尝试做更简单的流式操作,为什么这个错误不会显示出来filter
?
更新:
仅当代理中存在消息时才会出现此问题。我正在使用 Kafka Streams 版本 0.10.2.1。
这是引发问题的一段代码
我打开了rocksdbjni-5.0.1.jar
Maven 下载的存档,其中包含该librocksdbjni-win64.dll
库。似乎它试图从 RocksDB 外部而不是内部检索库。
我正在 Windows 7 机器上开发。
你有没有遇到过这个问题?
apache-kafka - Kafka Streams - 低级处理器 API - RocksDB TimeToLive(TTL)
我正在尝试使用低级处理器 API。我正在使用处理器 API 对传入记录进行数据聚合,并将聚合记录写入 RocksDB。
但是,我想保留添加到 RocksDB 中的记录,使其仅在 24 小时内处于活动状态。24 小时后应删除记录。这可以通过更改 ttl 设置来完成。但是,没有太多文档可以让我获得一些帮助。
如何更改 ttl 值?我应该使用什么 java api 将 ttl 时间设置为 24 小时,以及当前默认的 ttl 设置时间是什么?
rocksdb - RocksDB:支持核外?相关表现?
我正在启动一个新软件,它应该能够处理大型数据集,即一些 TB 的数据。
我已经看到 Rocksdb 允许存储大型数据集,但我不确定它是不是核心功能?我的意思是,如果数据集大于计算机 RAM,它会处理它吗?
此外,如果没有交换,是否有一些关于使用这种内存数据存储的性能影响研究?谢谢
openssl - MariaDB 10.2 和 Openssl 1.1.0e 出现错误“MD5_CONTEXT 类型不完整”
我无法在 CentOS 7 中构建启用 RocksDB 的 MariaDB 10.2。
它有以下编译错误:
这是我用来构建它的命令:
yum install g++ cmake libbz2-dev libaio-dev bison zlib1g-dev libsnappy-dev libgflags-dev libreadline6-dev libncurses5-dev libssl-dev liblz4-dev gdb git
我猜是 OpenSSL 版本的问题,也许 MariaDB 只支持旧的 OpenSSL 版本。
那么,有人知道如何解决吗?
我的版本:
- OpenSSL 1.1.0e 2017 年 2 月 16 日
- g++ (GCC) 4.8.5 20150623
谢谢,
database - Hyperledger Fabric Rocksdb 数据库、检索和修改
我正在努力弄清楚 Fabric v0.6 确实不允许非法修改数据。除了我想直接修改“sst”格式的数据。我想使用其他一些方法,例如创建数据库实例,然后检索所有数据 -> 修改它们 -> 将它们放回去并正常为对等方加注星标。但是当我尝试创建 Rocksdb 的实例时,我收到了这个错误
基于本教程: http: //pyrocksdb.readthedocs.io/en/v0.4/tutorial/index.html
如果它是一个新的数据库,那很好。当涉及到区块链数据库时,我遇到了一些错误。
caching - 使用 RocksDB 作为图像缩略图的本地缓存
我正在为 macOS 构建一个桌面应用程序,允许用户浏览视频集合。为每个视频生成缩略图是一项相对昂贵的操作,因此我想缓存已生成的所有缩略图。此缓存不需要在应用程序启动时持续存在。速度并不那么重要,因为几乎任何东西都比解码视频帧更快。
我正在考虑使用 RocksDB 来存储缩略图,并且想知道这是否适合使用 RocksDB。大多数 RocksDB 文档都涉及设置和获取字符串作为值,但在最近的版本中,添加PinnableSlice
似乎更容易存储二进制数据。在我的应用程序中,我会为最大 512 x 512px 的缩略图存储高度压缩的 JPEG 数据。
以这种方式使用 RocksDB 时,我应该考虑什么?是否有任何配置选项有助于针对此类用例进行调整或调整?如果 RocksDB 保持较低的内存开销,我会更喜欢,因为我愿意在需要缩略图时承受从磁盘读回的性能损失。
(如果一开始使用 RocksDB 作为图像缓存是一个非常糟糕的主意,那么我想更好地理解为什么。)
apache-flink - 由于字节序不匹配,无法使用 Flink RocksDB 状态后端
我的 Flink 作业从 kafka 主题中读取数据并将数据存储在 RocksDB 状态后端,以利用可查询状态。我可以在本地机器上运行作业并查询状态。但是在集群上部署时,出现以下错误:
我尝试在集群级别和作业级别设置 RocksDB 状态后端。当它设置在工作级别时,我将其作为阴影依赖项提供。我也尝试在主机集群机器上编译代码。在所有情况下,我都会遇到相同的错误。
我该如何解决这个错误?
apache-kafka - RocksDb sst 文件的 Gui 查看器
我正在使用 Kafka 将数据保存到 RocksDB 中。
现在我想看看 Kafka 创建的数据库键和值。我下载了 FastNoSQL 并尝试但失败了。
该文件夹包含:
- .sst 文件
- 。日志文件
- 当前文件
- 身份文件
- 锁定文件
- 日志文件
- 清单文件
- 选项文件
如何查看值?
python - 如何通过dict键值方便dict记录过滤?
我想在我的 python 应用程序中与 Rocksdb 交互并在其中存储任意字典。我收集到这一点,我可以使用像泡菜这样的东西来进行序列化。但我需要能够根据键的值过滤记录。这里的正确方法是什么?
php - myrocks (mariadb + rocksdb) php 字符集
已经有很多关于为 mysql 选择正确字符集的帖子,但对于 Rocksdb 引擎来说,这又是一个不同的(而且非常令人沮丧)的故事。
首先,我决定使用 utf8-binary 作为字符集(myrocks 支持 latin1、utf8-bin 和二进制),因为我的数据可能包含特殊字符,我想保存。
此外,我使用 PHP 和 PDO 将数据加载到 mysql 中,连接如下所示:
所以我将字符集设置为 utf8(我也尝试过使用utf8_bin
,但 PDO 不支持)。虽然,我可以插入一些行,但有时我会收到如下错误:
不正确的字符串值:列 'column_name' 的 '\xF0\x9F\x87\xA8\xF0\x9F...'
但是现在的错误是什么?此十六进制序列编码一个 unicode-smily(区域指示符号字母 c + 区域指示符号字母 n)。对我来说,似乎有效的 utf8 和 mysql 以及 php 都配置为使用它。