azure - 集成运行时内存不足 ADF

Question

我正在使用数据流活动将 MongoDB 数据转换为 SQL。截至目前，不支持将 MongoDB/Atlas 作为数据流中的源。我正在将 MongoDB 数据转换为 AzureBlob 存储中的 JSON 文件，然后将该 json 文件用作数据流中的源。

对于大小约为/超过 4Gb 的 json 源文件，每当我尝试导入投影时，Azure 集成运行时都会引发以下错误。我已将核心大小更改为 16+16，并将集群类型更改为内存优化。

有没有其他方法可以导入投影？

Answer 1

由于您的源数据是一个大文件，其中包含许多可能具有复杂架构的行，因此您可以创建一个临时文件，其中包含几行包含您要读取的所有列，然后执行以下操作：

1.从数据流源Debug Settings -> Import projection with sample file得到完整的schema。

现在，选择导入投影。

2.接下来，回滚调试设置以使用源数据集进行剩余的数据移动/转换。

如果你也想映射数据类型，你可以按照这个官方的 MS推荐文档，因为在 JSON 源中不能直接支持映射数据类型。