filter - 在 azure 数据工厂中过滤导入的数据集

Question

我有一个 JSON 文件，我需要对其进行过滤以仅显示过去 2 天的数据。

有没有办法添加一个表达式来执行此操作，以便我可以接收包含过去 2 天数据的数据集？

此外，是否可以使用管道中的过滤器选项来完成，或者我是否需要为此类问题创建数据流？

Answer 1

我同意@Mark Kromer，您应该使用数据流。它使过滤器处于活动状态，并且可以更轻松地实现这一点。

过滤器需要解析/检查文件内的数据并可能遍历层次结构。

我只是举一个过滤数据的例子date > "2020-12-01"：

筛选：

输出预览：

根据您的数据列过滤以保留最近 2 天的数据。