问题标签 [furrr]

感谢DAVID SCHOCH，我利用他的功能并稍作修改以创建以下内容。它工作得很好。

现在，我只需要计算这些变量，即在图形对象 H 上并行运行函数，可能使用 purrr 或 furrr，以更快地运行。我的真实数据很大，还有 30 多个函数。输出应该与下面代码最后一行中显示的 H_indices 相同。

使用 furrr 对 tidygraph 中心性函数进行并行计算会引发错误：

“mutate_impl(.data, dots) 中的错误：评估错误：不应直接调用此函数。”

这是我的代码：

我应该如何解决这个问题？

我目前正在开发一个包，假设它被称为 myPack。我有一个名为 myFunc1 的函数和另一个名为 myFunc2 的函数，它看起来像这样：

现在，如果我在不并行时调用 myFunc2，它会起作用。但是，如果我用 parallel = TRUE 调用它，我会收到以下错误：

有谁知道为什么 myFunc2 在顺序模式下工作，而不是并行工作，以及如何阻止此错误出现？

可重现的例子：

（注意：这不是完整的功能，但它基本上是它在缩短版本中所做的）

给定一个dataframe，比如说iris默认值，如何配置purrr::map_dfr()函数以在每一行上运行dataframe并执行函数foo。

这是我的 df 的一行，请注意该值始终是一个大 JSON：

我的功能是：

请告知为什么它不使用数据框行？

我有很多文件需要下载。

我正在使用download.file()函数和furrr::map并行下载，与plan(strategy = "multicore").

请告知我如何为每个未来加载更多工作？

在 8 核的 Ubuntu 18.04 上运行。R 版本 3.5.3。

文件可以是 txt、zip 或任何其他格式。大小在 5MB 到 40MB 的范围内变化。

我json在一个目录中有数千个非常小的文件。

现在，我正在使用以下代码来加载它们：

不幸的是，这非常慢（我也尝试过furrr::future_map）我想知道这里是否有更好的方法。单个文件几乎没有25KB大小......

文件如下所示，有几个嵌套变量，但没有太复杂

谢谢！

由于内存（和速度）问题，我希望在 data.table 内部进行一些计算，而不是在其外部进行。

以下代码有 100.000 行，但我正在使用 4000 万行。

所有变体的输出都是相同的，并且符合预期。基准是：

26 secs 72 secs 38 secs 105 secs ，所以我发现使用 data.table 中的函数或使用 mapply 没有任何优势。

我主要关心的是内存，future_map2 解决方案无法解决这个问题。

我现在正在使用 Windows，所以我希望找到除 mclapply 之外的速度解决方案，也许是我没有看到的一些 data.table 技巧（列表不支持键控）

我想从要共享的固定级别的因子级别组合中生成一个数据框。我有一个如下所示的工作代码，但我想概括它，以便它可以通过简单地输入以下内容来处理任意数量的级别：数据框df、要拆分的变量、var1要共享的级别A和名称的新变量strat。我希望能够将此功能与管道一起使用，以便之后进行其他操作。任何帮助将非常感激。

这是我的尝试：

我想并行处理一些东西并使用

然而，错误工具提示显示“不匹配的左括号 '(' 并且它指的是furrr::future_map_dfr之后的括号。

当我尝试在 function(i)) 之后关闭它时，错误仍然存​​在，并且它添加了意外的令牌 ')' ，指的是新的右括号。

到底是怎么回事？

谢谢你的帮助！米

我一直在寻找替代方法，furrr:future_map()因为当此函数在另一个函数中运行时，它会将在该函数中定义的所有对象复制到每个工作人员，而不管这些对象是否被显式传递（https://github.com/DavisVaughan/furrr/issues/ 26 )。

使用时看起来像parLapply()做同样的事情clusterExport()：

^{由reprex 包（v0.3.0）于 2020-01-06 创建}

我怎样才能big_obj避免被复制到每个工人？我使用的是 Windows 机器，所以分叉不是一种选择。