问题标签 [ycsb]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
122 浏览

cassandra-2.0 - YCSB 加载命令中的异常错误

我正在尝试运行YCSB加载命令,但在 310 秒后出现错误。我已将我的 cassandra.yaml 设置为以下配置:

我也尝试将rpc地址更改为localhost但仍然出现相同的错误。有人可以帮我吗?

0 投票
0 回答
86 浏览

maven - YCSB (0.6.0) Riak Binding (2.1.1) 打包时不断抛出 maven-assembly-plugin 错误

我是 YCSB 和 Riak 的新手。当我按照本指南https://github.com/cvitter/YCSB-Riak-Binding 对 Riak 进行基准测试时mvn clean package,它会抛出:

谁能帮我这个?

0 投票
0 回答
202 浏览

java - 添加节点时 Cassandra 上的延迟峰值

最近我一直在和 Cassandra 一起玩。在将节点添加到 Cassandra 时,我遇到了延迟峰值,同时在所有现有 C* 节点上设置了 nodetool 流限制。

具体来说,最初集群有 4 个 C* 节点,我在原始节点在 1200 秒预热时添加了 2 个额外节点,如图所示。这 4 个节点上存储的数据量为 50 GB,每个节点的密钥大小为 20 KB。Nodetool 用于将“流限制”设置为 1MB/s。YCSB 用于在扩展过程中这 4 个现有节点可以达到的最大吞吐量的 80% 生成读取主导 (90%) 工作负载。这些数字显示了 YCSB 每 10 秒的输出服务延迟。

C* 上的时间与读取延迟

有人对延迟峰值有一些答案吗?也许是后台的 gc 或压缩?或者只是带宽饱和,因为我将流限制设置为 1MB/s,这似乎不是这样?

0 投票
1 回答
46 浏览

twitter - 附加 Twitter 流/公共数据集作为 YCSB 工作负载的输入

YCSB 的工作负载使用自动生成的数据。有没有办法附加 Twitter 或其他服务的公共数据集作为工作负载的输入?我需要使用这些数据集的因果关系。(例如 {id, tweet, parent-id..}

0 投票
1 回答
292 浏览

couchbase - 使用“YCSB”对 Couchbase 进行基准测试

我正在与 YCSB 的 Couchbase 客户端进行基准测试。客户端无法完成针对 db 定义的操作数。我从来没有设法达到'recordcount = 30000000'。我在哪里可以找到该客户端的日志目录?

0 投票
0 回答
249 浏览

couchbase - Couchbase 4.0 社区版基准测试

我们正在对 couchbase 进行基准测试并观察到一个非常奇怪的行为。

设置阶段:

Couchbase 集群机器;

2 个 EC2 r3.xlarge,带有通用 80GB SSD(非 EBS 优化),IOPS 240/3000。

沙发底座设置:

集群:数据 RAM 配额:22407 MB
索引 RAM 配额:2024 MB
索引设置(默认)
存储桶:
每个节点 RAM 配额:22407 MB
存储桶总大小:44814 MB (22407 x 2)
启用副本 (1)
磁盘 I/O 优化 (低的)

每个节点运行所有三个服务

Couchbase 客户端;

1 x EC2 m4.xlarge 通用 20 GB SSD(EBS 优化),IOPS 60/3000。
客户端正在运行“YCSB”基准测试工具。

ycsb load couchbase -s -P 工作负载/工作负载a -p recordcount=100000000 -p core_workload_insertion_retry_limit=3 -p couchbase.url= http://HOST:8091/pools -p couchbase.bucket=test -threads 20 | 三通工作负载aLoad.dat

PS:所有机器都驻留在同一个 VPC 和子网中。

结果:

虽然一切都按预期工作
平均操作/秒约为 21000
“磁盘写入队列”图在 200K - 600K(定期耗尽)之间浮动。
'temp OOM per sec' 图为常数 0。

当事情开始变得奇怪
在插入大约 27M 文档后,我们开始看到“磁盘写入队列”不断上升(没有耗尽)
在大约 8M 磁盘队列大小时,OOM 故障开始显示出来,客户端收到“临时来自沙发床的失败。
每个 YCSB 线程重试 3 次后,客户端在仅插入约 27% 的整体文档后停止。
即使 YCSB 客户端停止运行,“磁盘写入队列”也会渐近地向 0 移动,并且仅在大约 15 分钟后耗尽。

PS 当我们在 MacBook 上使用 16GB 内存 + SSD 磁盘(本地客户端 + 一个节点服务器)进行本地基准测试时,我们没有观察到这种行为,并且“磁盘写入队列”以可预测的方式不断耗尽。

谢谢。

0 投票
2 回答
328 浏览

cassandra - 增加虚拟机数量会降低 Cassandra 吞吐量。可能是什么原因?

我正在使用 YCSB 基准测试工具对 Cassandra 集群进行基准测试。我正在改变集群中虚拟机的数量。我使用1台物理主机,我使用1,2,3,4个虚拟机进行基准测试(如图所示)。

生成的工作负载始终相同 工作负载 C 10,000,00 次操作,10,000 条记录 每个 VM 有 2 GB RAM,20GB 驱动器

Cassandra - 1 个种子节点,endpoint_snitch - gossipproperty Keyspace YCSB - 复制因子 3,

问题是当我增加集群中的虚拟机数量时,吞吐量会降低。可能是什么原因?

根据定义,通过增加计算资源(即虚拟机),集群应该提供更好的性能,但情况正好相反,如图所示。请解释这可能是什么原因?我正在写关于这个主题的论文,但我无法找出原因,请帮助,我将不胜感激。

Cassandra 集群中不同数量的虚拟机观察到的吞吐量: cassandra 集群中不同数量的虚拟机观察到的吞吐量

0 投票
2 回答
2634 浏览

cassandra - YCSB 用于 Cassandra 3.0 基准测试

我有一个 cassandra ubuntu 视觉集群,需要对其进行基准测试。

我尝试使用 yahoo 的 ycsb 来完成(如果可能,不使用 maven)。我使用 cassandra 3.0.1,但找不到合适的 ycsb 版本。

我不想更改为最旧版本的 cassandra(ycsb 最新的 cassandra-binding 用于 cassandra 2.x)

我应该怎么办?

0 投票
1 回答
313 浏览

ycsb - 由于我们没有绑定redis集群,如何运行ycsb来测试redis集群?

我正在研究redis。我已经使用三个主节点构建了我的 Redis 集群,并且我还有另一个节点用于运行 ycsb。我遇到了与To start YCSB load with cluster enabled option for REDIS中所述相同的问题 。我尝试根据给出的答案编辑 RedisClient.java。但是我遇到了错误: import redis.clients.jedis.HostAndPort; 导入 redis.clients.jedis.JedisCluster;,因为这些包不存在。所以我的问题是在哪里可以找到像 redis.clients.jedis.JedisCluster 这样的包?有没有人成功编辑 RedisClient.java 以测试 redis 集群,或者我们有其他解决方案吗?谢谢!

0 投票
0 回答
416 浏览

mongodb - 使用 ycsb 工具进行 mongodb 时出错

我正在尝试使用 ycsb 工具测试 mongodb。我安装了 java 和 maven,我已经从https://github.com/brianfrankcooper/YCSB下载了 ycsb-master 我运行 mvn clean package 命令以便 mongodb 绑定成功。加载工作量我执行了以下命令

C:\YCSB-master\bin>c:\Python27\python.exe ycsb load mongodb -s -P 工作负载\workloada -p recordcount=1000 -threads 6 -p mongodb.url="mongodb://localhost:27017" -p mongodb.database=test -p writeConcern=normal -p mongodb.auth="true"

但我收到了类似的错误

请帮我