我通过hadoop多节点集群的importsv工具将1000万条记录加载到Hbase表中。现在，这项任务需要 5 分钟。但我想知道如何提高这个性能。importtsv 工具似乎根本不像使用减速器。我想知道我是否可以强制它使用减速器，它可以提高性能或您认为可以提高性能的任何其他方式将不胜感激。
谢谢你。
问问题
1238 次
3 回答
1
尝试使用带 HfileOutPutFormat 的 Importtsv 和 completeBulkLoadTool。
于 2012-07-14T06:55:38.623 回答
1
在性能方面，没有简单的答案。如果 5 分钟等于网络的速度，或者硬盘的速度，你必须将源数据移动到其他地方或更改硬件。
我不知道进口v。我建议你尝试多路加载。看看 Sqoop。
于 2012-07-12T16:47:26.637 回答
0
您可以通过使用HFileOutputFormat和获得最佳的 HBase 批量加载性能CompleteBulkLoad
在这里检查。
于 2013-12-02T15:27:26.933 回答