javascript - 需要验证流分析作业的输入（来自 eventthub）以确保数据质量

Question

有没有办法从 Azure 流分析中的流输入 (eventhub) (JSON) 检测数据质量问题？

场景： 1) 错误消息：空白记录、键列中的 NULLS/空格 2) 超出预期范围的值、不正确的数据类型等 3) 非标准消息

已检查异常检测，但它不提供这些功能。

注意：我正在运行 =Data Quality 与数据处理并行的作业，以将具有数据质量问题的消息捕获到 BLOB 中以进行调查/重新处理。

避免处理管道中的性能问题。

有人在 Azure 中实现了数据质量框架吗？

谢谢，莫汉

Answer 1

使用 Azure 流分析，您可以添加不同的筛选器来检查消息是否符合您的业务逻辑：

• 在 WHERE 子句中添加过滤器以检测：空白记录、键列中的 NULLS/空格以及超出预期范围的值
• 使用 TRY_CAST 功能检测不正确的数据类型

但是，Azure 流分析将依赖格式良好的消息，因此无法读取无效 JSON 的消息。因此，它可能无法满足您的所有要求。