0

ICE 版本: infobright-3.5.2-p1-win_32

我正在尝试加载一个大文件,但一直遇到错误问题,例如:

错误的数据或列定义。行:989,字段:5。

这是第 989 行,第 5 字段:

“(450)568-3***”

注意:最后 3 个字符也是数字,但不想在此处发布某人的电话号码。

它与该字段中的任何其他条目确实没有什么不同。

该字段的数据类型是 VARCHAR(255) NOT NULL

4

3 回答 3

3

此外,如果您升级到当前版本 4.0.6,我们现在支持 LOAD 期间的行级错误检查并支持拒绝文件。

要启用拒绝文件功能,您必须指定 BH_REJECT_FILE_PATH 和相关参数之一(BH_ABORT_ON_COUNT 或 BH_ABORT_ON_THRESHOLD)。例如,如果您想将文件 DATAFILE.csv 中的数据加载到表 T,但您预计该文件中的 10 行可能格式错误,您将运行以下命令:

设置@BH_REJECT_FILE_PATH = '/tmp/reject_file';

设置@BH_ABORT_ON_COUNT = 10;

将文件 DATAFILE.csv 中的数据加载到表 T 中;

如果少于 10 行被拒绝,将输出警告,加载将成功,所有有问题的行将输出到文件 /tmp/reject_file。如果 Infobright 加载程序发现第十个坏行,加载将终止并出现错误,并且到目前为止找到的所有坏行都将输出到文件 /tmp/reject_file。

于 2012-05-01T18:33:50.330 回答
0

我发现这与 '\r\n' 与 '\n' 的区别是一致的。即使在 Windows 上的加载器上运行时,'\n' 也能 100% 成功(假设您的数据与 col. 定义没有真正的问题)

于 2013-11-01T21:13:43.173 回答
0

当文件的最后一行没有被 --lines-terminated-by="\n" 的值终止时,我遇到了这个问题。例如,如果我要导入一个包含 9000 行数据的文件,我必须确保文件末尾有一个新行。根据文件的大小,您可以使用文本编辑器打开它并点击 return k

于 2013-07-30T21:09:32.123 回答