我正在尝试将 avro 文件从谷歌存储加载到大查询表，但遇到了这些问题。我遵循的步骤如下。
- 在 Spark 中创建一个数据框。
通过将这些数据写入 avro 来存储这些数据。
dataframe.write.avro("路径")
将这些数据加载到谷歌存储中。
尝试使用以下命令将数据加载到 google bigquery
bq --nosync load --autodetect --source_format AVRO datasettest.testtable gs://test/avrodebug/*.avro
此命令导致给出此错误。
读取数据时出错，错误消息：Apache Avro 库无法读取数据并出现以下错误：无法解析：“long”与“int”
所以我什至尝试通过指定模式来使用这个命令。bq --nosync load --source_format AVRO datasettest.testtable gs://test/avrodebug/*.avro C1:STRING, C2:STRING, C3:STRING, C4:STRING, C5:STRING, C6:INTEGER, C7:INTEGER ，C8：整数，C9：字符串，C10：字符串，C11：字符串
在这里，我只有 C6、C7 和 C8 具有整数值。即使这也给出了相同的先前错误。
有什么理由让我在 long to int 而不是 long to INTEGER 上得到错误
请让我知道有没有办法通过投射来加载这些数据。