我一直在玩redis 数据库的 R 接口,以及foreach的doRedis并行后端。我有几个问题,以帮助我更好地应用此工具:
- doMC、doSMP、doSnow 等似乎都是通过调用同一台计算机上的工作进程,将列表中的元素和要应用的函数传递给它们,然后收集结果来工作的。在 doMC 的情况下,worker 共享内存。但是,对于数据库如何提供相同的功能,我有点困惑。
- 当我向 doRedis 作业队列添加额外的从属计算机时(如本视频所示),整个 doredis 数据库是否正在发送到从属计算机?或者每个从站只是它在特定时刻所需的数据(即列表的一个元素和要应用的函数)。
- 如何将额外的数据和函数显式传递给 doRedis 作业队列,每个从站都需要执行它的计算?
- 使用 doRedis 和 foreach 时,是否有其他可能不适用于其他并行后端的“陷阱”?
我知道这是很多问题,但我一直遇到这样的情况,即我对并行处理如何工作的有限理解阻碍了我实现它的能力。例如,我最近尝试在大型数据库上并行计算,发现自己将整个数据库传递到集群上的每个节点,这一操作完全破坏了我从并行化中获得的任何优势。
谢谢!