azure-data-lake - U-SQL 中字符串的最大允许大小是多少？

Question

在处理 CSV 文件时，我收到关于最大字符串大小的错误。“字符串大小超过了允许的最大大小”。

Answer 1

目前 U-SQL 中字符串的最大允许大小为128 KB。

如果您需要处理比现在更大的大小，则在从 CSV 文件读取时使用 byte[] 类型。稍后，当行集在某些 C# 代码主体的脚本中处理时，您可以将 byte[] 转换为字符串，并在 C# 代码中执行您需要的任何字符串操作。

注意：U-SQL 中的行也有最大大小（当前为 4MB）。而且这种技术也受到这种限制。

如果您对支持大于 128 KB 的字符串大小的场景感兴趣，请在此处对功能请求进行投票，将您的场景添加为评论也会非常有帮助。https://feedback.azure.com/forums /327234-data-lake/suggestions/13416093-usql-string-data-type-has-a-size-limit-of-128kb