azure-data-lake - 从 u-sql 中的文件夹中获取要处理的文件数

Question

如何从u-sql中的文件夹（目录）中获取文件数

如果文件夹有多个文件，则仅处理最新文件，否则处理第一个文件！

Answer 1

正如我在评论中所说，您可以执行以下操作：

DECLARE EXTERNAL @input string = @"/someFolder/{file}.csv";

@extractedData = EXTRACT file as string,
                         col1 as number,
                         col2 as string
                         FROM @input
                         USING new Extractors.Csv();

因此，您将提取文件夹中的所有文件并使用它，即使它是一个文件或多个文件。您需要保证文件具有相同的结构，否则您的提取器会抛出类似的错误

“预计有 3 列，但得到了“x”列......

之后，您可以处理文件数据。