0

如何对我在 azure blob 存储中的一些 csv 文件运行 sed 命令？

我正在使用 Azure 复制活动将数据从 csv 文件复制到 postgres，但我的 csv 是一个 20 gb 的大文件，并且包含 NULL 字符 \x000 的东西.. postgres 文本数据类型无法识别。ADF 复制活动无法将 csv 字符串列转换为 postgres abyte，因此唯一的选择是使用文本。我想到了一种解决方案，可以在我的 csv 上运行 sed 命令，用 - 等其他字符替换空字符。所以我需要知道如何在 blob 存储中的 azure csv 文件上运行 sed 命令。我应该先将它们复制到具有 linux 的新 vm，但还要注意 adf 复制活动没有显示将二进制文件从 blob 复制到某些 lunux vm 的选项

4

2 回答 2

0

我只是在 ms azure 订阅中添加了一个资源，即一个 linux vm。将文件从 azure blob 复制到 vm，运行 sed 命令，将文件复制回 blob

于 2019-12-28T14:38:02.760 回答
0

您不能将 blob 视为本地文件。您必须先将它们下载到本地存储（本地可以在您的虚拟机或您的机器可以访问的任何其他地方）。至于数据工厂：您绝对可以从虚拟机复制内容，只要您创建适当的文件共享（例如 samba 共享）以及集成运行时，如果有问题的虚拟机被锁定到特定的 VNet。

于 2019-12-19T00:02:40.163 回答