3

我在 Azure Blobs 中有一堆数据作为 JSON 文件存储。我想将它们加载到 Azure SQL 数据仓库，但 Azure SQL 数据仓库似乎不接受 JSON 输入文件。

最好的方法是什么？

我研究的解决方案：

1）使用带有自定义活动的 Azure 数据工厂（例如https://github.com/Azure/azure-content/blob/master/articles/data-factory/data-factory-use-custom-activities.md）但似乎为此旋转 HDInsight 群集有点“开销”（而且我更喜欢使用 JavaScript 而不是 C# 解决方案）。

2) 编写 Azure api-app（或自定义代码）将文件转换为 CSV，然后编写外部表脚本将其上传到 Azure SQL 数据仓库，然后删除 CSV 文件。我不确定是否需要保留此 CSV 文件以供以后使用。

有更好的建议吗？

4

2 回答 2

2

您可以使用 Azure 数据工厂将 json blob 数据转换为 csv，然后插入 Azure SQL 数据仓库。

您的管道将有一个 Copy 活动、一个 json AzureBlob Dataset 和一个AzureSqlDWTable。

将带有转换器规则的列映射添加到复制活动非常重要。

于 2016-05-22T10:40:50.853 回答
0

我更喜欢第二种选择。Azure Web 作业似乎是一个不错的选择。它在与 Web 应用程序相同的环境中工作。您可以压缩一个包含控制台应用程序、PowerShell 脚本或 bash 脚本及其依赖项的文件夹，并将其安排为批处理或连续运行。如果您使用 C#，您甚至可以利用 Azure SDK 1.1 将 blob 作为流处理：https ://azure.microsoft.com/en-us/documentation/articles/websites-dotnet-webjobs-sdk-storage-blobs -如何/

于 2015-12-10T14:37:48.747 回答