google-bigquery - 大查询字符串中的新行

Question

“字符串中的换行符”到底是什么意思？

https://developers.google.com/bigquery/docs/quota-policy#import

如何检查和删除它？

Import Jobs: Daily limit: 1,000 import jobs per table per day (including failures), 10,000 import jobs per project per day (including failures)
Maximum size per import job: 1TB uncompressed
Maximum number of files per import job: 500

Answer 1

字符串中的换行符是指 CSV 字段值中嵌入的换行符。这使得平行进口变得困难。

例如：2 行，第一行有一个嵌入的换行符：

1,2,"this is my
string",4,5
1,2,"another string",4,5

BigQuery 导入器具有“--noallow_quoted_newlines”选项，表示文件不包含任何嵌入的换行符。

# --noallow_quoted_newlines:
#   Do not allow quoted newlines in the data.  This allows BigQuery to parallelize the load.

https://developers.google.com/bigquery/articles/ingestioncookbook#atomic

字符串字段中没有换行符的单个 JSON 和 CSV 文件可能高达 100GB，而字符串中包含换行符的 CSV 文件必须为 4GB 或更少。

https://developers.google.com/bigquery/articles/ingestioncookbook