我正在使用事件中心上的捕获功能将数据推送到数据湖中。这是以 .avro 文件保存到湖中的。
我想将此数据加入到我在 SQL 数据仓库中的一些现有数据中。所以对我来说最明智的做法是将 .avro 文件推送到 SQL 中。我怎样才能做到这一点?
令人沮丧的是,来自 API 的数据最初是 JSON 格式,但在 azure 上的 Web 应用程序中以 .avro 格式返回。如果我可以让文件成为 JSON,那么我将只使用 T-SQL 中的 OPENJSON 函数。
谢谢
我正在使用事件中心上的捕获功能将数据推送到数据湖中。这是以 .avro 文件保存到湖中的。
我想将此数据加入到我在 SQL 数据仓库中的一些现有数据中。所以对我来说最明智的做法是将 .avro 文件推送到 SQL 中。我怎样才能做到这一点?
令人沮丧的是,来自 API 的数据最初是 JSON 格式,但在 azure 上的 Web 应用程序中以 .avro 格式返回。如果我可以让文件成为 JSON,那么我将只使用 T-SQL 中的 OPENJSON 函数。
谢谢
我知道这个答案有点晚了,但是每当我使用 U-SQL 时,我发现检查他们的 github 上的示例以获得基线很有用,这样我就可以根据自己的需要改进这些示例。
回答你的问题,你检查过这个吗?https://github.com/Azure/usql/tree/master/Examples/AvroExamples它展示了处理 avro 文件的基础知识。
希望这有帮助!马丁