问题标签 [ycsb]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
437 浏览

cassandra - YCSB 低读取吞吐量卡桑德拉

YCSB端点基准测试会让您相信 Cassandra 是 Nosql 数据库的黄金孩子。然而,在我们自己的机器上重新创建结果(8 个超线程内核、60 GB 内存、2 500 GB SSD),我们对工作负载 b 的读取吞吐量非常低(主要读取,也就是 95% 读取,5% 更新)。

cassandra.yaml 设置与 Endpoint 设置完全相同,除了不同的 IP 地址和我们的磁盘配置(1 个 SSD 用于数据,1 个用于提交日志)。虽然它们的吞吐量约为每秒 38,000 次操作,但我们的吞吐量约为每秒 16,000 次,无论(相对)线程/客户端节点的数量如何。即一个具有 256 个线程的工作节点将报告 ~16,000 ops/sec,而 4 个节点将报告 ~4,000 ops/sec

我已将 SSD 数据驱动器的预读值设置为 8KB。我将把自定义工作负载文件放在下面。

使用 iostat 分析磁盘 io 和 cpu 使用情况时,读取吞吐量似乎始终为 ~200,000 KB/s,这似乎表明 ycsb 集群吞吐量应该更高(记录为 100 字节)。~25-30% 的 cpu 似乎在 %iowait 之下,10-25% 被用户使用。

top 和 nload 统计数据表面上没有瓶颈(<50% 的内存使用率,对于 10 Gb/s 的链路为 10-50 Mbits/sec)。

0 投票
1 回答
737 浏览

cassandra - NoSQL 数据库中的性能指标

我正在尝试使用 YCSB 基准测试工具对 NoSQL 数据库(即 Cassandra)进行基准测试。为此,我显然需要设置性能指标来衡量性能。我决定选择Readwriteupdate。现在我很不确定它们是否是选择的正确指标,或者可能类似于Scale-up,和/或elastic speedup值得选择?请给我一些建议。

0 投票
2 回答
1225 浏览

hbase - HBase shell 中的拆分命令

我正在尝试使用 CDH ycsb 包裹在 HBase 上运行 ycsb。我正在关注 Cloudera 的博客ycsb-the-open-standard-for-nosql-benchmarking-joins-cloudera-labs。在此博客中,我看到以下命令,

hbase(main):002:0> create 'usertable', 'cf', {SPLITS => (1..n_splits).map {|i| "user#{1000+i*(9999-1000)/n_splits}"}}.

这是什么{SPLITS => (1..n_splits).map {|i| "user#{1000+i*(9999-1000)/n_splits}"}意思?我知道这被用于分割区域。但我无法找到上述命令实际上在做什么?请帮助我更好地理解这一点。

0 投票
1 回答
1212 浏览

java - YCSB zipf分布的alpha参数是多少

YCSB 自带一个 ZipfianGenerator 类,这个 zipfian 发行版的 alpha 是多少?

0 投票
1 回答
169 浏览

error-handling - Cassandra 如何处理错误?当某些节点关闭时,它会重试还是失败请求?

我正在使用默认设置的 6 节点 Cassandra 集群上运行 YCSB。假设客户端已经与协调器建立连接,并找到足够的副本来满足其一致性级别,如果:

(1) 协调器宕机了?YCSB 客户会联系其他协调员吗?

(2) 部分副本宕机?它会重试还是简单地失败请求?

0 投票
1 回答
574 浏览

hbase - 如何针对远程 HBase 运行 YCSB

我有一个运行 Hadoop-2.5.2 和 HBase-1.2.3(都是完全分布式的)的 1+2 集群,运行时完全没有问题(已验证)。我下载并构建了最新版本的 YCSB (0.13.0) 以针对 HBase 运行它!我还制作了带有“ family ”列的“ usertable ”表。

  1. [第一种情况]我使用以下命令从 Hadoop-HBase-master-VM 运行 YCSB:./bin/ycsb load hbase10 -P workloads/workloada -p columnfamily=family一切正常。
  2. 但我想要的是,[第二种情况] 是拥有另一个专门运行 YCSB 的 VM(一个 ycsb-client-VM)。但是,当我尝试从另一个 VM 运行 YCSB 时,我无法成功运行上述命令。我尝试了很多方法(我已经在 hbase10-binding 中创建了 /conf 目录并将 hbase-site.xml 存储在其中),并且每次都会得到一个不同的错误,如果我提到所有这些,这将使帖子变得巨大这里。

有没有人从与 HBase 运行的服务器不同的服务器上针对 HBase 运行 YCSB?(我将其描述为上面的“第二种情况”)

有没有关于如何从专用 ycsb-client-vm 运行 YCSB 的教程?(当然我已经阅读了 YCSB-github 上的所有内容)。

请不要给我关于如何在 HBase(master) 正在运行的同一 VM 中运行 YCSB 的建议!

0 投票
1 回答
151 浏览

mongodb - 仅使用单个节点的 YCSB 基准测试

我想将 YCSB Benchmark 用于 MongoDB 的单个节点和 Couchbase 的另一个单个节点,计算机只有 512MB RAM 和一个内核。
可行吗?我能看到工作负载的执行情况和吞吐量吗?我能否正确比较两个数据库的性能?

0 投票
3 回答
1478 浏览

bash - 在后台并行运行多个 shell 脚本

我有一些在后台运行的 YCSB 数据加载脚本

数据加载.sh:

还有一些 YCSB 运行脚本,看起来像这样:

Read_test.sh:

如果我单独运行它们,它们将在后台并行运行。

但是如何自动执行此操作或编写一个脚本,该脚本将一个接一个地调用这两个脚本并等待第一个脚本完成,然后再转到下一个脚本?

提前致谢。

0 投票
1 回答
2527 浏览

benchmarking - Zipfian vs Uniform - 这两个 YCSB 分布有什么区别?

任何人都可以在运行 YCSB 工作负载时描述 Zipfian 和统一分布之间的区别吗?

这是 YCSB 的核心属性:https ://github.com/brianfrankcooper/YCSB/wiki/Core-Properties

0 投票
1 回答
529 浏览

ycsb - YCSB 将什么数据类型加载到数据库中?

我正在使用此命令通过 YCSB 将数据加载到 Cassandra -

bin/ycsb 加载 cassandra-10 -p hosts="132.67.105.254" -P 工作负载/工作负载 > 工作负载 a_res.txt

我只想要使用上面的命令加载什么“数据类型”。我的意思是单个字符或字符串。