我尝试使用 ray 来抓取一些数据。
我在使用 ray 之前的原始代码如下,并且运行良好。
def download(n):
#download nth data
return downloaded_data
我使用 ray 参考 ray 教程,这使我的内核死了:
@ray.remote
def download(n):
#download nth data
return downloaded_data
ray.init(num_cpus = 4)
total_data = ray.get([download.remote(x) for x in range(4000)])
我通过 jupyter 和 spyder 尝试了代码,但在这两种情况下内核都死了。
我不认为原因是内存不足。它不会使用太多内存。
可能的原因是什么?