python - Bulkloader CSV 大小错误

Question

Bulkloader 在导入包含大单元格的 CSV 文件时引发以下错误：

[ERROR   ] Error in data source thread: field larger than field limit (131072)

这是 csv 模块的常见问题，可以通过以下方式解决：

csv.field_size_limit(sys.maxint)

我怎样才能让bulkloader执行这个？

Answer 1

试试这个：

在 bulkloader.yaml 添加：

python_preamble:
- import: csv_fix
... # the rest of your imports

在 csv_fix.py 添加：

import csv, sys
csv.field_size_limit(sys.maxint)