python - 使用 sklearn 和 gRPC 进行模型服务

Question

假设我有一个来自 sklearn 的训练有素的 RandomForestClassifier 模型。我们正在使用 gRPC 为该模型提供服务，并在高流量情况下提供实时预测。据我了解，gRPC 可以支持多个线程同时运行。他们能否同时调用 RF 的predict方法而不会遇到并发问题？sklearn 的预测线程安全吗？

如果不是这种情况，听起来您必须在每个工作线程中加载模型的单独副本。

Answer 1

具体我对sklearn一无所知，但总的来说，gRPC是线程安全的，对同一个方法进行多次并发调用就可以了。