amazon-s3 - s3 的典型写入吞吐量是多少（使用水槽 0.9.4）

Question

我在 BE 模式下运行我的水槽（水槽 0.9.4-cdh3u4）流，并且位于不同机器上的代理和收集器都是大型 EC2 实例

收集器写入本地文件系统以及同一区域中的 S3 存储桶。

代理在 E2E 模式下配置时已经过测试，可处理 4MB/s，代理 <-> 收集器速度也是如此。

使用“iftop”，我注意到收集器有两个传出连接到 S3，到 s3 的写入吞吐量徘徊在 40KB/s - 50KB/s 左右

1. 您使用收集器看到的 s3 的典型写入吞吐量是多少？

2. 我想知道是否可以生成更多这些线程（写入 S3）以最大化实例利用率？

我怎么做？

如果我能以另一种方式增加写入吞吐量，我宁愿不产生更多的收集器。

Answer 1

你有东西堆积在收集器上吗？50KB/s 是否有可能是所有正在生成的数据？

你在用滚水槽吗？Roll sink 将批量数据上传到 S3。较大的卷筒尺寸应提高产量。