0

来自 Sqoop 用户指南：

Sqoop 使用多行 INSERT 语法在每个语句中插入最多 100 条记录。每 100 条语句，写入器任务中的当前事务被提交，导致每 10,000 行提交一次。

但它没有提到您是否可以指定特定的提交大小。因此我的问题是 - 你能指定它吗？有谁知道？

4

1 回答 1

1

有两个属性可用于调整此行为：

  1. sqoop.export.records.per.statement - 将为单个插入语句创建的行数，例如 INSERT INTO xxx VALUES (), (), (), ...
  2. export.statements.per.transaction - 每个事务的插入语句数。例如开始；插入，插入，.... 提交

您可以在命令行的 HADOOP_ARGS 部分中指定属性（甚至同时指定属性），例如：

  sqoop export -Dsqoop.export.records.per.statement=X --connect ...

您可以在Apache Sqoop Cookbook中找到更多关于它们的使用说明。

于 2013-10-26T16:07:26.993 回答