36

我在 Windows 上的 R x64 上makePSOCKcluster的包中遇到了难以调试的问题。parallel它不会发生在 Windows 上的 R i386 上，也不会发生在任何 OSX 或 Linux 上。不幸的是，它也不会始终如一地发生，只是偶尔而且相当随机。

发生的情况是该makePSOCKcluster函数超时并冻结 R 会话，但前提是在会话早期system()执行了一些（任意）调用。下面的视频和脚本更清楚地说明了这个问题。

我尝试了一些没有成功的东西：

  • 禁用防病毒/防火墙。
  • system在调用和之间等待几秒钟makePSOCKcluser。
  • 使用不同的系统调用。

我将如何进一步缩小范围？这里的视频和视频中使用的脚本是：

cmd_exists <- function(command){
  iswin <- identical(.Platform$OS.type, "windows"); 
  if(iswin){
    test <- suppressWarnings(try(system(command, intern=TRUE, ignore.stdout=TRUE, ignore.stderr=TRUE, show.output.on.console=FALSE), silent=TRUE));
  } else {
    test <- suppressWarnings(try(system(command, intern=TRUE, ignore.stdout=TRUE, ignore.stderr=TRUE), silent=TRUE));    
  }
  !is(test, "try-error")
}

options(hasgit = cmd_exists("git --version")); 
options(haspandoc = cmd_exists("pandoc --version"));  
options(hastex = cmd_exists("texi2dvi --version"));
cluster <- parallel::makePSOCKcluster(1);
4

1 回答 1

2

makePSOCKCluster，或者更一般地说makeCluster，在创建所谓的worker进程时可能会因多种原因挂起，这涉及使用 Rscript 命令启动新的 R 会话，该命令将执行 .slaveRSOCK 函数，该函数将创建一个返回到主节点的套接字连接，然后执行 slaveLoop 函数，它最终将执行 master 发送给它的任务。如果在启动任何工作进程时出现问题，master 将在执行 socketConnection 时挂起，等待工作人员连接到它，即使该工作人员可能已经死亡或从未成功创建。

使用 outfile 参数非常棒，因为它经常揭示导致工作进程死亡并因此导致主进程挂起的错误。但是，如果这没有显示任何内容，请转到手动模式。在手动模式下，master 打印命令来启动每个 worker，而不是执行命令本身。它需要更多的工作，但它可以让您完全控制，如果需要，您甚至可以调试工作人员。

这是一个例子：

> library(parallel)

> cl <- makePSOCKcluster(1, manual=TRUE, outfile='log.txt')
Manually start worker on localhost with
   '/usr/lib/R/bin/Rscript' -e 'parallel:::.slaveRSOCK()' MASTER=localhost
PORT=10187 OUT=log.txt TIMEOUT=2592000 METHODS=TRUE XDR=TRUE

接下来打开一个新的终端窗口（命令提示符或其他），然后粘贴该 Rscript 命令。一旦你执行了它， makePSOCKcluster 应该返回，因为我们只请求了一个工人。当然，如果出现问题，它不会返回，但如果你幸运的话，你会在终端窗口中收到一条错误消息，并且你会有一个重要的线索，希望能解决你的问题. 如果你不那么幸运，Rscript 命令也会挂起，你将不得不更深入地研究。

要调试工作程序，您不需要执行显示的 Rscript 命令，因为您需要一个交互式会话。相反，您可以使用以下命令启动 R 会话：

$ R --vanilla --args MASTER=localhost PORT=10187 OUT=log.txt TIMEOUT=2592000 METHODS=TRUE XDR=TRUE

在该 R 会话中，您可以在 .slaveRSOCK 函数上放置一个断点，然后执行它：

> debug(parallel:::.slaveRSOCK)
> parallel:::.slaveRSOCK()

现在您可以开始单步执行代码，可能在 slaveLoop 和 makeSOCKmaster 函数上设置断点。

于 2014-06-27T15:46:34.510 回答