Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
我用java编写了一个处理大数据的代码。我想将其分发给多台机器以处理部分数据并更快地完成处理。我以前从未从事过分布式计算。有没有工具可以完成这项工作?谢谢。
Gridgain工作得相当好。Hadoop是一个伟大的,但需要更多的开发。Hazelcast可能是一个很好的局外人
我也可以引用其他人,但如果不知道涉及哪些类型的数据和处理,很难回答您的问题。进程是 I/O 密集型还是 CPU 密集型?
问题之一是“您的数据集有多大?”。
好像你想做一个map-reduce算法。
Hadoop是一个开源项目,它提供了一个框架来做到这一点。