我正在使用Caffeine来缓存数据库中的AsyncLoadingCache
查找数据。
现在我想把它集成到 Spark Streaming 中。我的想法是让每个工作人员以给定的刷新率维护这样的缓存。但是怎么做呢?
将其定义为广播变量并在每次超时时重新创建它并在工作人员之间传播会更好吗?
这里的最佳做法是什么?
我正在使用Caffeine来缓存数据库中的AsyncLoadingCache
查找数据。
现在我想把它集成到 Spark Streaming 中。我的想法是让每个工作人员以给定的刷新率维护这样的缓存。但是怎么做呢?
将其定义为广播变量并在每次超时时重新创建它并在工作人员之间传播会更好吗?
这里的最佳做法是什么?