python - 如何使用 joblib.Parallel 和 Web 请求提高运行时间？

Question

我正在使用脚本从许多使用newspaper3k. 我没有按顺序运行它，而是尝试通过使用joblib.Parallel

但是，它仍然需要很多时间（50 个网站大约需要 20 分钟）。我分析了脚本，结果发现大部分时间 (51%) 都在等待来自以下位置的锁Parallel：

你觉得我有什么办法可以改进吗？我想过使用async，但结果发现 Joblib 不能很好地使用它。