我有一个独特的情况,我所有的 orc 文件都作为压缩的 orc 文件位于 blob 存储上的 Azure 上。我需要将这些文件加载到 prem SQL DB 中。我可以使用 polybase 下载我理解的数据,但这需要很长时间。我认为网络连接是这里的瓶颈,因为 poly base 必须解压缩这些文件,运行 map reduce 作业并通过网络将数据检索到 prem SQL 表中。我没有任何其他 SQL 框来尝试 polybase 横向扩展。
但是我可以将这些兽人文件下载到本地驱动器中,但我不知道如何编写外部数据源来指向本地文件。微软没有任何文档。外部数据源是否可能指向本地orc文件?我非常怀疑它,但只是试一试。
其他解决方案是在本地解压缩这些 orc 文件并加载它,但我不知道有什么工具可以做到这一点?请推荐一些工具。