0

我在 BE 模式下运行我的水槽(水槽 0.9.4-cdh3u4)流,并且位于不同机器上的代理和收集器都是大型 EC2 实例

收集器写入本地文件系统以及同一区域中的 S3 存储桶。

代理在 E2E 模式下配置时已经过测试,可处理 4MB/s,代理 <-> 收集器速度也是如此。

使用“iftop”,我注意到收集器有两个传出连接到 S3,到 s3 的写入吞吐量徘徊在 40KB/s - 50KB/s 左右

  1. 您使用收集器看到的 s3 的典型写入吞吐量是多少?

  2. 我想知道是否可以生成更多这些线程(写入 S3)以最大化实例利用率?

我怎么做?

如果我能以另一种方式增加写入吞吐量,我宁愿不产生更多的收集器。

4

1 回答 1

0

你有东西堆积在收集器上吗?50KB/s 是否有可能是所有正在生成的数据?

你在用滚水槽吗?Roll sink 将批量数据上传到 S3。较大的卷筒尺寸应提高产量。

于 2012-06-22T20:15:27.373 回答