我正在独立工作（我们的集群尚未配置）。我尝试使用 HCatalog 从文件创建新表，但出现以下错误。
field larger than field limit (131072)
这个值似乎是 的值，io.file.buffer.size配置为 131072。我说的对吗？但是，这个选项的描述是 Size of read/write buffer used in SequenceFiles，所以我完全不确定。我的文件是一个文本文件。所以我不确定，这是改变的好属性。
任何想法？
问问题
242 次
1 回答
0
我想要么是因为，
- 您在 Hive create 语句中设置的字段分隔符未设置为正确的，因此缓冲区中读取的字段超出了允许的最大长度。
- 您的字段分隔符设置正确，但某些字段真的很长，或者缺少正确的分隔符。如果是这种情况，您需要以某种方式预处理文件以确保它不会出现这种情况。
类似的问题和答案here
于 2013-10-15T00:10:58.790 回答