1

我正在使用 Samza 处理来自 Kafka 主题的消息。某些消息在将来带有时间戳，我想将处理推迟到该时间戳之后。与此同时，我想继续处理其他传入的消息。

我试图做的是让我Task的消息排队并实现WindowableTask定期检查消息，如果它们的时间戳允许处理它们。基本思想如下所示：

public class MyTask implements StreamTask, WindowableTask {

    private HashSet<MyMessage> waitingMessages = new HashSet<>();

    @Override
    public void process(IncomingMessageEnvelope incomingMessageEnvelope, MessageCollector messageCollector, TaskCoordinator taskCoordinator) {
        byte[] message = (byte[]) incomingMessageEnvelope.getMessage();
        MyMessage parsedMessage = MyMessage.parseFrom(message);

        if (parsedMessage.getValidFromDateTime().isBeforeNow()) {
            // Do the processing
        } else {
            waitingMessages.add(parsedMessage);
        }

    }

    @Override
    public void window(MessageCollector messageCollector, TaskCoordinator taskCoordinator) {
        for (MyMessage message : waitingMessages) {
            if (message.getValidFromDateTime().isBeforeNow()) {
                // Do the processing and remove the message from the set
            }
        }
    }
}

这显然有一些缺点。当我重新部署任务时，我会丢失内存中的等待消息。所以我想知道使用 Samza 延迟处理消息的最佳实践。我是否需要一次又一次地将消息重新发送到同一主题，直到我最终可以处理它们？我们在这里谈论将处理延迟几分钟，最多 1-2 小时。

4

2 回答 2

1

重要的是要记住，在处理消息队列时，它们在系统中执行非常特定的功能：它们在处理器忙于处理前面的消息时保存消息。预计功能正常的消息队列将按需传递消息。这意味着，一旦消息到达队列的头部，队列中的下一次拉取将产生消息。

请注意，延迟不是等式的可配置部分。相反，延迟是具有队列的系统的输出变量。事实上，利特尔定律对此提供了一些有趣的见解。

因此，在需要延迟的系统中（例如，加入/等待并行操作完成），您应该考虑其他方法。通常，可查询的数据库在这种特定情况下是有意义的。如果您发现自己将消息保留在队列中一段预设的时间，那么您实际上是在将消息队列用作数据库——它并非旨在提供的功能。这不仅有风险，而且很可能会损害消息代理的性能。

于 2018-01-22T17:37:29.937 回答
0

我认为您可以使用 Samza 的键值存储来保持任务实例的状态，而不是 in-memory Set。它应该看起来像：

public class MyTask implements StreamTask, WindowableTask, InitableTask {

  private KeyValueStore<String, MyMessage> waitingMessages;


  @SuppressWarnings("unchecked")
  @Override
  public void init(Config config, TaskContext context) throws Exception {
    this.waitingMessages = (KeyValueStore<String, MyMessage>) context.getStore("messages-store");
  }

  @Override
  public void process(IncomingMessageEnvelope incomingMessageEnvelope, MessageCollector messageCollector,
      TaskCoordinator taskCoordinator) {
    byte[] message = (byte[]) incomingMessageEnvelope.getMessage();
    MyMessage parsedMessage = MyMessage.parseFrom(message);

    if (parsedMessage.getValidFromDateTime().isBefore(LocalDate.now())) {
      // Do the processing
    } else {
      waitingMessages.put(parsedMessage.getId(), parsedMessage);
    }

  }

  @Override
  public void window(MessageCollector messageCollector, TaskCoordinator taskCoordinator) {
    KeyValueIterator<String, MyMessage> all = waitingMessages.all();
    while(all.hasNext()) {
      MyMessage message = all.next().getValue();
      // Do the processing and remove the message from the set
    }
  }

}

如果您重新部署任务 Samza 应该重新创建键值存储状态（Samza 将值保存在与键值存储相关的特殊 kafka 主题中）。您当然需要为您的商店提供一些额外的配置（在上面的示例中messages-store）。

您可以在此处阅读有关键值存储的信息（对于最新的 Samza 版本）： https ://samza.apache.org/learn/documentation/0.14/container/state-management.html

于 2018-01-31T14:52:06.053 回答