我在 BE 模式下运行我的水槽(水槽 0.9.4-cdh3u4)流,并且位于不同机器上的代理和收集器都是大型 EC2 实例
收集器写入本地文件系统以及同一区域中的 S3 存储桶。
代理在 E2E 模式下配置时已经过测试,可处理 4MB/s,代理 <-> 收集器速度也是如此。
使用“iftop”,我注意到收集器有两个传出连接到 S3,到 s3 的写入吞吐量徘徊在 40KB/s - 50KB/s 左右
您使用收集器看到的 s3 的典型写入吞吐量是多少?
我想知道是否可以生成更多这些线程(写入 S3)以最大化实例利用率?
我怎么做?
如果我能以另一种方式增加写入吞吐量,我宁愿不产生更多的收集器。