问题标签 [parallel-processing]

我家里有很多不用的电脑。什么是我利用它们来并行化我的 C# 程序而几乎没有代码更改的最简单方法？

我正在尝试做的任务涉及遍历大量英语句子，数据集可以很容易地分成更小的块，在不同的机器上同时处理。

我想做类似的事情：

我可以在 dts 中做到这一点。有没有办法在事务 sql 中做到这一点？或者有没有办法用批处理脚本（例如vbs或powershell）来做到这一点？

得知 OpenMosix 已关闭，我感到很震惊。你能推荐任何类似的Linux免费工具吗？

对于那些不知道的人，OpenMosix 是

一个软件包，它将运行 GNU/Linux 的联网计算机变成一个集群。它自动平衡集群不同节点之间的负载，节点可以在不中断服务的情况下加入或离开正在运行的集群。负载根据节点的连接和 CPU 速度分布在节点之间。

最好的部分是您不需要将程序与任何特殊库链接，也不需要修改程序。只是“分叉并忘记”。

另一个不错的（但不是必须的）功能是它不必安装在专用计算机上，而是可以安装在组织/实验室/家庭等中的各种台式计算机上。

我知道几种可能的解决方案的名称（例如）。我正在寻找个人经验和/或好评

EDIT Mosix是 OpenMosix 的前身，曾经是免费的（作为免费啤酒）。不过现在要花钱了

我正在分叉许多进程，我想测量完成整个任务需要多长时间，即完成所有分叉的进程。请告知如何使父进程等到所有子进程终止？我想确保在正确的时刻停止计时器。

这是我使用的代码：

I often find myself writing simple for loops to perform an operation to many files, for example:

It seems a bit depressing that on my 4-core machine only one core is getting used.. is there an easy way I can add parallelism to my shell scripting?

EDIT: To introduce a bit more context to my problems, sorry I was not more clear to start with!

I often want to run simple(ish) scripts, such as plot a graph, compress or uncompress, or run some program, on reasonable sized datasets (usually between 100 and 10,000). The scripts I use to solve such problems look like the one above, but might have a different command, or even a sequence of commands to execute.

For example, just now I am running:

So my problems are in no way bzip specific! (Although parallel bzip does look cool, I intend to use it in future).

我刚刚观看了关于即将到来的 .NET 并行扩展的最后一个Channel 9 视频。您将如何在 Web 应用程序中使用它？我特别考虑对 SQL 数据库使用并行 Linq 扩展。作为一种在多用户服务器应用程序中加速数据访问层的方法，这是否有意义？有哪些问题（除了使用静态集合类型的明显线程安全问题）？

我希望这是提问的正确地方[1]，但我在这里阅读了很多关于其他主题的好评，所以我只是问问。目前我正在为我的论文寻找一个主题（我认为在非德国国家攻读博士学位），它必须与并行性或并发性等有关，但否则我可以自由选择我的'我很感兴趣。此外，使用 GPU 的一切都是不合理的，因为我的一位同事已经研究过这个主题，我们想为我提供一些其他的东西 :)

所以，神奇的问题是：你认为这个领域有哪些有趣的话题？我个人对并行函数式编程语言和一般的虚拟机很感兴趣，但我想说很多工作已经在那里完成或正在积极研究（例如在 Haskell 社区中）。

我非常感谢任何帮助我指出其他有趣的话题。

最好的问候，迈克尔

PS：我已经看过https://stackoverflow.com/questions/212253/what-are-the-developments-going-on-in-all-languages-in-parallel-programming-area但没有很多答案。

[1] 我已经在http://lambda-the-ultimate.org上询问过，但不幸的是，回复没有预期的那么多。

我正在开发一种在 Ruby on Rails 中的个性化搜索引擎，我目前正在尝试根据用户的记录实时找到对结果进行排序的最佳方式。

示例：搜索的项目可以有标签（带有 id 的单独实体），例如项目有标签=[1,5,10,23,45]。

另一方面，用户可能已将某些标签标记为特别感兴趣，因此假设用户的标签=[5, 23]。

用于对结果进行排序的分数应考虑用户“盯着”的项目标签的数量。例如，项目的分数将基于项目的属性为 50%，而排名为 50%，具体取决于用户的（注视的标签数量）。

一个想法是将其注入信息检索系统的排序功能中。但是在我可能会使用的 Sphinx 中，实现起来会非常尴尬（当用户的向量很大时）。我不了解 Lucene/solr，但它们似乎没有我需要的高级非文本搜索功能（距离、日期、时间等）

其他选项是从 IR 系统检索中介集，然后在应用程序级别对其进行处理。但是，我很确定按顺序处理 100-1000 条记录，然后在 Rails 中对它们进行排序会非常慢。

另一方面，这似乎是可以轻松并行处理的任务 - 将 1000 条记录分成由单独的线程处理然后排序的集合。

我读到了几个 map reduce 实现，既有像 hadoop 这样的通用实现，也有像 skynet 等特定于 rails 的实现，但它们最适合大批量作业，而不是实时处理（除非我弄错了？）。

我可以为此使用任何内存中的轻型 MR 实现吗？或者，也许你有一些其他的想法如何处理它？

（旁注：我相信这个设置类似于谷歌新闻的工作方式，从我从“谷歌新闻个性化：可扩展的在线协同过滤”论文中了解到。它们实时匹配一组候选故事和用户所属的一组集群到（之前预先计算的）以个性化的方式对故事进行排序）

在我正在工作的项目中，有一个带有“更新时”触发器的表，用于监视布尔列是否已更改（例如：false -> true = 执行某些操作）。但是这个动作只能连续做一次。

将有多个客户端访问数据库，所以我可以假设最终，多个客户端将尝试并行更新同一行列。

“更新”触发器本身是否处理并发本身，或者我需要在事务中执行并手动锁定表？

我将数据分片到多个 mysql 数据库中，但有时我需要从多个分片收集信息。如何在php中并行查询多个mysql数据库？

我见过一些异步 curl 请求和 shell_exec 的例子，但是有没有更直接的方法呢？