hive - WSO2 BAM 增量分析

Question

根据此处的文档，此功能是实验性的，但我想知道是否有人成功使用它。我已经有一些数据，所以我正在尝试用例 4。
我尝试使用 @Incremental 注释运行更新配置单元查询，但它不再进入我的 RDB。
如果我删除它，一切正常，但我想利用此功能，因为存储的大量数据和查询执行速度非常慢的原因。
非常感谢任何建议或帮助。

Answer 1

此功能被认为是实验性的，因为可能存在一些严重的错误。我们将在下一个版本中发布具有此功能的更稳定的 BAM 版本。

Answer 2

增量分析功能将在部分分布式设置中正常工作，但它没有在外部 hadoop 集群中进行彻底测试，因此它被标记为“实验性”。无论如何，如果您在这些上发现任何错误，您可以在jira中报告。

要回答您的问题，您需要先为您的流启用增量处理，然后您需要添加增量注释。以下是详细步骤。

1）您需要在streams.properties中添加属性'streams.definitions.defn1.enableIncrementalIndex = true'，如here所述文件并创建一个仅包含流定义工件的工具箱，如here所述。

2) 安装工具箱 - 这将注册您在工具箱中提到的流定义和增量分析。在这一点上，传入的数据将被增量处理。

3) 现在在查询中指明@Incremental 注释。第一次迭代将考虑整个可用数据，因为您在处理过程中启用了增量分析，但从下一次迭代开始，它将只考虑新的一组数据。