python - Python Ray 可以处理多大的数据？

Question

Python Ray 对于机器学习应用程序来说看起来很有趣。但是，我想知道 Python Ray 能处理多大。它是受内存限制还是实际上可以处理超出内存的数据？

Answer 1

当数据适合内存时，它目前工作得最好（如果您在集群上，那么这意味着集群的聚合内存）。如果数据超出可用内存，那么 Ray 将驱逐最近最少使用的对象。如果以后需要这些对象，它们将通过重新运行创建它们的任务来重建。