r - 我们应该如何选择磁盘框架中的块大小？

Question

我正在使用磁盘框架，​​到目前为止它很棒。

让我感到困惑的一件事情是块的大小。我感觉一小块可能会创建太多任务，而磁盘框架可能会占用管理这些任务的时间。另一方面，对于工作人员来说，一大块可能过于昂贵，从而降低了并行性带来的性能优势。

我们可以使用哪些信息来更好地猜测块大小？

Answer 1

这是一个棘手的问题，我可能需要更好的工具。

目前，一切都在猜测的基础上。但我已经对此进行了介绍，我会尽快将其纳入文档中。

理想情况下，你想要

使用的 RAM = 工作人员数量 * 每个块的 RAM 使用量

因此，如果您有 6 个工作人员（最适合 6 个 CPU 内核），那么您会想要更小的块，而不是拥有 4 个（工作人员）但总 RAM 量相同的人。

困难在于估计“每个块的 RAM 使用量”，这对于不同的操作（如合并、排序和只是 vaniall 过滤）是不同的！

这是一个一般很难解决的问题！所以暂时没有好的解决办法。