I am going to do a data analysis, which size is 2TB, by using python. There is not enough memory for my local machine. Is it possible to setup a cloud by using openstack and let the cluster share their memory? Any example?
问问题
818 次
2 回答
0
好吧，您可以在您的云实例中实现。
您基本上可以创建许多实例，每个实例都有一个大 ramfs。然后将许多节点上的所有 ramfs 放入一个网络分布式文件系统，例如 openAFS、gluster 或 luster。
那将是一种方法。
于 2012-12-20T21:44:04.333 回答
0
不，你不能用 OpenStack 做到这一点。
您所描述的是分布式共享内存系统。我相信ScaleMP销售一种名为 vSMP 的产品，可以做到这一点。请注意，从历史上看，由于一个称为错误共享的问题（我不知道这对 ScaleMP 有多大影响，我从未使用过），因此很难从分布式共享内存系统中获得良好的性能。
您还可以购买更昂贵的系统，该系统带有支持分布式共享内存的专用硬件，例如SGI UV。
您可能最好修改代码以利用 Hadoop 或 MPI 之类的东西。
于 2012-11-11T02:06:15.027 回答