问题标签 [ycsb]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
402 浏览

cloud - 我们如何评估桉树的表现

我们如何评估桉树的表现。是否有可以收集相同统计信息的工具?

谢谢

0 投票
1 回答
1605 浏览

mongodb - YCSB - 为什么我在互联网上的任何地方都找不到分片配置

我看到各种参考 MongoDB 作为 YCSB 基准测试的客户端,以测试 NoSQL 数据库服务器的可伸缩性/弹性。

https://github.com/brianfrankcooper/YCSB

但是,很明显,基准测试需要某种分片设置,因为测试旨在在 6 到 10 台服务器机器上运行,以显示可扩展性和弹性。

我在 Internet 上找不到任何关于 MongoDB 配置的参考资料。我找不到任何发布结果的人也发布了他们的配置。

这件事真的成功了吗?与 Cassandra、HBase 等原始 YCSB 客户端相比,结果如何?

我特别困惑,因为在 MongoDB 客户端的代码中,它读取......“每个客户端线程有一个数据库实例”......见片段。

然而,在 Brian Cooper YCSB 结果论文中,它指出他们将工作负载运行到多达 500 个线程。

6.1 实验装置

对于大多数实验,我们使用六台服务器级机器(双 64 位四核 2.5 GHz Intel Xeon CPU、8 GB RAM、6 个磁盘 RAID-10 阵列和千兆以太网)来运行每个系统。我们还在 47 个服务器集群上运行 PNUTS,以成功证明 YCSB 可用于对更大的系统进行基准测试。PNUTS 需要两台额外的机器作为配置服务器和路由器,而 HBase 需要一台额外的机器,称为“主服务器”。这些服务器负载很轻,我们在此报告的结果主要取决于六台存储服务器的容量。YCSB 客户端在单独的 8 核机器上运行。客户端运行多达 500 个线程,具体取决于所需提供的吞吐量。我们在测试中观察到客户端机器不是瓶颈;尤其是,

有谁知道这个基准的分片配置在哪里,是否有任何真实的结果可以通过分片配置或详细解释为什么不需要分片来支持。

谢谢,-罗伯特

0 投票
2 回答
10715 浏览

mongodb - 与单线程客户端相比,为什么 MongoDB 使用多线程客户端性能更好?

我们最近使用 YCSB ( https://github.com/brianfrankcooper/YCSB/wiki ) 对 Oracle 10g 和 MongoDB 进行了基准测试,当我们尝试增加 1,000,000 个数据集的线程数时,Oracle 的性能在 4 个线程之后保持不变,但 MongoDB 继续执行越来越好,直到 8 个线程,之后只有读取更好,写入和更新(操作/秒)保持不变。

我们在 LAN 上的 2 CPU Xeon 四核(共 8 核)+ 8 GB RAM 上运行了这个基准测试。

我们观察到的是,与单线程客户端相比,MongoDB 在多线程客户端上的性能更好,我的问题是:当 MongoDB 可以在更多负载下表现更好时,为什么它不能在更少负载下做同样的事情(比如只有几个线程) 通过利用多个核心?

0 投票
1 回答
304 浏览

java - 从抽象类中检索数据

我在访问某些数据时遇到了困难。我正在使用YCSB与许多不同的数据库进行通信,例如 Cassandra 和 MongoDB。

我可以真正修改的唯一类是我的“工作负载”类,它正在执行一些插入和读取。我用来从数据库中读取的方法在类中:

我试图修改代码,以便可以读取哈希图的内容。我删除了 db.read 行并将其替换为

然后尝试从 kv_hashmap 中读取:

但是db.read 只返回一个 int。DB 是一个我不想修改的公共抽象类,它的目的是与各种数据库通信:

这就是 db.read 所称的:

返回,引用javadoc:

成功为零,错误或“未找到”为非零错误代码。

我需要从 kv_hashmap 中读取值。我不明白为什么我不能访问它的值。

0 投票
1 回答
169 浏览

netty - 工作负载规划和生成

我搜索了“负载测试”,但没有找到很多标准程序。有没有人有使用工作负载生成器测试 Netty 服务器的经验。我发现了许多 TCP/IP 数据包生成器。任何人都有 Netty 和高速消息处理器工作负载生成的经验?是否有像http://research.yahoo.com/Web_Information_Management/YCSB这样的工作负载生成器?

0 投票
3 回答
4375 浏览

hbase - 加快 HBase 读取响应

我在 Amazon XLarge 实例(16Gb RAM,4 核 CPU)上部署了 4 个节点 HBase v0.90.4-cdh3u3 集群,为 HRegion 服务器分配了 8Gb 堆 -Xmx,为数据节点分配了 2Gb。HMaster\ZK\Namenode 位于单独的 XLarge 实例上。目标数据集是 1 亿条记录(每条记录是 10 个字段乘以 100 字节)。从并行 100 个线程同时执行基准测试。

与 YCSB 团队在他们的YCSB 论文中取得和展示的成果相比,我对我得到的读取延迟感到困惑。他们实现了高达 7000 ops/sec 的吞吐量,延迟为 15 毫秒(第 10 页,读取延迟图表)。在 90% 读取/10% 写入工作负载上,我无法获得高于 2000 次操作/秒的吞吐量。在禁用自动提交的情况下写入速度非常快(在几毫秒内响应),而读取延迟平均不低于 70 毫秒。

这些是我使用的一些 HBase 设置:

  • hbase.regionserver.handler.count=50
  • hfile.block.cache.size=0.4
  • hbase.hregion.max.filesize=1073741824
  • hbase.regionserver.codecs=lzo
  • hbase.hregion.memstore.mslab.enabled=true
  • hfile.min.blocksize.size=16384
  • hbase.hregion.memstore.block.multiplier=4
  • hbase.regionserver.global.memstore.upperLimit=0.35
  • hbase.zookeeper.property.maxClientCnxns=100

您建议查看哪些设置以加快 HBase 读取速度?

0 投票
1 回答
357 浏览

couchdb - 有人知道 YCSB 中 CouchDB 的数据库层吗?

我想使用 YCSB 来检查 CouchDB。但我发现 CouchDB 没有 DB 层。YCSB 中有 CouchDB 的 DB 层吗?

0 投票
1 回答
1864 浏览

java - ycsb for mongodb

我正在尝试使用 YCSB 对本地运行的 mongoDB 实例进行基准测试。插入负载时出现以下异常:

命令如下:

我在 Rhel 6.1 上运行它并使用开箱即用的 ycsb 0.1.4。

0 投票
2 回答
727 浏览

cloud - VoltDB 的 YCSB

有谁知道是否有任何 YCSB 客户端/驱动程序可用于对 VoltDB 进行基准测试?甚至任何参考出版物/博客/文章/研究项目?

我们可以将 TPC 工作负载用于 VoltDB 基准测试吗?

非常感谢大家。

0 投票
1 回答
576 浏览

cassandra - Cassandra 使用 YCSB 进行基准测试

YCSB 0.1.4 可以用来评估 Cassandra 1.1.6 的性能吗?