问题标签 [parallel-processing]

我们有一个需要并行化的 Websphere Java EE 应用程序，我们希望为此使用CommonJ 工作组件。

每个“线程”都需要对来自数据库的数据有自己的看法。其中大部分是预取的，但仍需要到数据库中获取一些。我们预计所有这些线程的整体工作的持续时间将是“长的”（即有足够的时间来更改基础数据）。

因此，我们需要确保隔离应用程序使用的数据并在线程工作过程中查询。

似乎确保这一点的唯一方法是进行“全局”事务并使用 XA 事务。但我们希望尽可能避免这种复杂性（和开销），并且正在寻找想法或替代方案：有什么想法吗？

此外，Common-J 工作组件在多大程度上（如果有的话）支持容器管理的事务？

@Karl：也许我只是指开销。我们的想法是 XA 事务和消息传递会产生共享事务的 Common-J 工作组件可以避免的开销？正在操作的数据集将是超过 300k 的不同数据行，每行需要对其进行约 100 次计算。尽管这些可以划分到不同的线程上操作共享、缓存、只读数据，但复制到/读取队列的相对内存开销似乎令人望而却步。你会同意吗？

@Karl：每个实体几十到几百毫秒。我们还专注于改进逻辑处理作为一项单独的任务。
当要求所有线程在单个数据库中具有一致的数据视图时，我是否需要使用 XA 事务？我对此的回答是，每个线程都需要自己的 JPA EntityManager（例如连接），并且需要 XA 来协调它们的访问。
但是，如果我可以在没有 XA 的情况下做到这一点，那就更好了，不是吗？

如何在 C# 4.0 中实现并行计算过程。

我一直在和一些朋友一起将 Matlab 遗传算法转换为 C++，它目前按顺序工作。Matlab 不再是我们当前代码的一部分。

我们希望在集群上使用它，但资源有点枯竭。我们在大学有一个可用的集群，它配备了 Rocks 和 OpenMPI，但我不确定从哪里开始使用它。

我们目前有 2D 和 3D 阵列设置，其中包含数据，当系统在模型之间进行交叉或交换时，它只是尝试交换 2D 和 3D 阵列的一部分。有哪些好方法可以将这些结构跨多个节点分开？

假设我有一个名为“MyService”的 Windows 服务和一个名为“MyEXE”的可执行文件，位于我网络上的几台计算机上。

是否可以（从“MyService”中）在不同/同一台计算机上启动多个“MyEXE”实例，让它执行一些任务并将真/假结果返回给“MyService”中的回调方法？

像这样的东西

也许我弄错了整个架构！

我记得前段时间读到，系统有 cpu 卡来增加额外的处理能力来进行大规模并行化。任何人都有这方面的经验和任何资源来研究项目的硬件和软件方面？这项技术是否不如传统集群？是不是更有权力意识？

线程和并行有什么区别？

哪一个比另一个有优势？

根据 Wikipedia 的说法，“令人尴尬的并行”问题是将问题分成多个并行任务只需很少或根本不需要努力的问题。光线追踪通常被用作示例，因为原则上每条光线都可以并行处理。

显然，有些问题更难并行化。有些甚至可能是不可能的。我想知道这些更难的情况使用了哪些术语以及标准示例是什么。

我可以提出“令人讨厌的顺序”作为可能的名称吗？

我在使用 MPI4Py Python 模块中的 Scatter 函数时遇到问题。我的假设是我应该能够将它传递给发送缓冲区的单个列表。但是，当我这样做时，我收到了一致的错误消息，或者确实添加了其他两个参数，recvbuf 和 root：

下面是相关代码的剪辑，从上面提到的 682 以上几行开始。

我尝试了许多初始化 station_range 的组合，但我一定没有正确理解 Scatter 参数类型。

Python/MPI 大师对此是否有澄清？

我正在设计一些不可变的类，但我必须有一些变量，比如说.Count有实例的总数。但是有一个静态变量会影响多线程吗？

因为像 Add、Remove 等方法必须更新.Count值。也许我应该让它成为惰性属性？

使用 bash 和常用工具为 Linux 构建最小任务队列系统的最佳/最简单方法是什么？

我有一个包含 9'000 行的文件，每一行都有一个 bash 命令行，这些命令是完全独立的。

我的盒子有多个核心，我想同时执行 X 个任务。我在网上搜索了一个很好的方法来做到这一点。显然，很多人都有这个问题，但到目前为止还没有一个好的解决方案。

如果该解决方案具有以下功能，那就太好了：

• 可以解释多个命令（例如command; command）
• 可以解释行上的流重定向（例如ls > /tmp/ls.txt）
• 只使用常用的 Linux 工具

如果它适用于其他没有太奇特要求的 Unix 克隆，则可以加分。