问题标签 [mapreduce]

什么是最容易使用的分布式 map reduce 编程系统？

例如。在包含许多用户的分布式数据存储中，每个用户都有许多连接，假设我想计算连接总数：

是否有任何 mapreduce 系统可以让我以这种方式编程？

我们有一个大型数据集可以使用多个reduce函数进行分析。

所有reduce算法都在同一个map函数生成的同一个数据集上工作。每次读取大数据集的成本太高，最好只读取一次并将映射的数据传递给多个reduce函数。

我可以用 Hadoop 做到这一点吗？我搜索了示例和 intarweb，但找不到任何解决方案。

我需要做一个关于计算语言学课程的项目。是否有任何有趣的“语言”问题，其数据密集程度足以使用 Hadoop map reduce。解决方案或算法应尝试分析并提供“语言”领域的一些见解。但是它应该适用于大型数据集，以便我可以使用 hadoop。我知道有一个用于hadoop的python自然语言处理工具包。

我很好奇，但 MapReduce、Hadoop 等如何将一大块数据分解为独立操作的任务？我很难想象这是怎么回事，考虑到数据通常是相互关联的，任务之间的状态条件等等。

我想使用 Hadoop（Amazon Elastic mapreduce）处理来自我的 Web 服务器的日志。我搜索了帮助，但没有任何用处。我想知道这是否可以做到，或者有没有其他方法可以做到这一点。

我正在研究并行编程，并且正在研究 mapreduce 和其他分布式算法。最好只是学习 mapreduce 还是有更通用的算法可以更好地为我服务？

我问这个是因为我想知道在数据库或共享键值存储上运行 mapreduce 查询是否有效？

例如，要实现一个网络拖网渔船，它索引互联网并计算不同网页上的所有术语，这是否可以使用数据库作为后端有效地完成？

mapreduce 可以用来实现网络服务器吗？

我在想像当一个请求进来然后请求坐在队列上，直到服务器可以自由处理它？还是我错过了这里的重点？

我正在考虑使用 MapReduce 系统来提供网页服务，并且我已经看到负载平衡器已经用于分发网页请求。地图缩减系统（例如 Hadoop）是否有任何理由无法做到这一点？

出于维基百科历史的目的，是否有人熟悉“令人尴尬的平行”一词的起源。我一直认为它可能是由最初从事 map-reduce 工作的随机 Google 员工创造的。有没有人有任何关于原产地的具体信息？