solr - Flume 代理不会停止重试不可恢复的 solr 错误

Question

我正在使用 Morphline Solr Sink 在 Solr 中存储信息。我面临的问题是水槽代理永远不会停止重试失败的请求，有时会随着时间的推移而增加。这会导致正在使用 MaxIO Workers 的水槽警告，并且系统会遇到性能问题。除了编写我自己的接收器之外，还有什么方法可以使水槽停止重试或成倍地退避以获得更好的系统性能？我的来源是 avroSource。

谢谢。

Answer 1

您应该修复失败请求的原因。

Flume 正在做它的设计。它以事务方式尝试将这批事件存储在您的商店中。如果它不能存储这些事件，是的，它会继续尝试。

您还没有解释是什么问题导致了这些故障。我建议考虑使用拦截器来修复数据中的任何错误或删除您不想存储的事件。