0

我创建了一个 .Net Activity，它具有复制活动（将数据从本地复制到 Data Lake 存储）和 U-SQL 活动（处理数据并将结果存储在 Data Lake Store 中）。

但是使用 U-SQL 处理数据需要表的架构，该架构也需要从本地数据库中复制。

U-SQL 查询：

      DECLARE @storagePath string = @"E:\";
      DECLARE @inputFileSetName string = @"inputfile.tsv"; 
      DECLARE @outputFileName string = @"outputfile.tsv";
      DECLARE @input string = String.Concat(@storagePath, 
      @inputFileSetName);
      DECLARE @output string= string.Concat(@storagePath, @outputFileName);

      @searchlog =
       EXTRACT <Schema for the table>
       FROM @input
       USING Extractors.Tsv();

      OUTPUT @searchlog 
       TO @output
       USING Outputters.Tsv();

我必须使用 Azure ADF 自定义活动获取表的架构以及数据吗？

4

1 回答 1

0

您期望有多少不同的模式？正如 Bob 在他的评论中提到的，我们目前不支持 U-SQL 中的动态模式发现。

此外，如果您不知道如何处理它，您打算稍后在脚本中对模式行集执行什么操作。

如果您只想在不了解架构的情况下复制文件（如上面的示例），我建议使用文件系统 API 或 ADLCopy（运行此 U-SQL 代码的变体）。

于 2017-08-18T00:40:55.163 回答