79

背景：

我问这个是因为我目前有一个包含许多（成百上千）线程的应用程序。大多数这些线程大部分时间都处于空闲状态，等待将工作项放入队列中。当一个工作项可用时，它会通过调用一些任意复杂的现有代码来处理。在某些操作系统配置上，应用程序会遇到控制最大用户进程数的内核参数，因此我想尝试减少工作线程数量的方法。

我提出的解决方案：

这似乎是一种基于协程的方法，我用协程替换每个工作线程，这将有助于实现这一目标。然后，我可以拥有一个由实际（内核）工作线程池支持的工作队列。当一个项目被放置在特定协程的队列中进行处理时，一个条目将被放置到线程池的队列中。然后它将恢复相应的协程，处理其排队的数据，然后再次挂起它，释放工作线程来做其他工作。

实施细节：

在考虑如何做到这一点时，我无法理解无堆栈协程和堆栈协程之间的功能差异。我有一些使用Boost.Coroutine库使用堆栈协程的经验。我发现从概念层面理解起来相对容易：对于每个协程，它维护一份 CPU 上下文和堆栈的副本，​​当您切换到协程时，它会切换到保存的上下文（就像内核模式调度程序一样）。

我不太清楚的是无堆栈协程与此有何不同。在我的应用程序中，与上述工作项排队相关的开销非常重要。我见过的大多数实现，比如新的 CO2 库，都表明无堆栈协程提供了开销更低的上下文切换。

因此，我想更清楚地了解无堆栈和堆栈式协程之间的功能差异。具体来说，我想到了这些问题：

  • 像这样的参考文献表明，区别在于您可以在堆栈和无堆栈协程中产生/恢复的位置。是这样吗？有没有一个简单的例子可以说明我可以在堆栈式协程中但不能在无堆栈协程中执行的操作？

  • 使用自动存储变量（即“堆栈上”的变量）是否有任何限制？

  • 我可以从无堆栈协程调用哪些函数有任何限制吗？

  • 如果没有为无堆栈协程保存堆栈上下文，那么当协程运行时，自动存储变量会去哪里？

4

2 回答 2

64

首先，感谢您查看CO2 :)

Boost.Coroutine文档很好地描述了堆栈式协程的优势：

堆叠性

与无堆栈协程相比，可堆叠协程可以从嵌套的 stackframe 中挂起。执行在代码中之前暂停的完全相同的点恢复。使用无堆栈协程，只有顶层例程可以被挂起。由该顶级例程调用的任何例程本身可能不会挂起。这禁止在通用库的例程中提供挂起/恢复操作。

一流的延续

第一类延续可以作为参数传递，由函数返回并存储在数据结构中以供以后使用。在某些实现（例如 C# yield）中，不能直接访问或直接操作延续。

如果没有堆栈性和一流的语义，就无法支持一些有用的执行控制流（例如协作多任务或检查点）。

这对你来说代表着什么？例如，假设您有一个接收访问者的函数：

template<class Visitor>
void f(Visitor& v);

您想将其转换为迭代器，使用堆栈式协程，您可以：

asymmetric_coroutine<T>::pull_type pull_from([](asymmetric_coroutine<T>::push_type& yield)
{
    f(yield);
});

但是对于无堆栈协程，没有办法这样做：

generator<T> pull_from()
{
    // yield can only be used here, cannot pass to f
    f(???);
}

一般来说，有栈协程比无栈协程更强大。那么为什么我们需要无堆栈协程呢？简短的回答：效率。

Stackful 协程通常需要分配一定数量的内存来容纳它的运行时堆栈（必须足够大），并且与无堆栈协程相比，上下文切换更昂贵，例如 Boost.Coroutine 需要 40 个周期，而 CO2 只需要 7在我的机器上平均循环，因为无堆栈协程唯一需要恢复的是程序计数器。

也就是说，通过语言支持，只要协程中没有递归，可能堆栈协程也可以利用编译器计算的堆栈最大大小，因此也可以提高内存使用率。

说到无堆栈协程，请记住，这并不意味着根本没有运行时堆栈，它仅意味着它使用与主机端相同的运行时堆栈，因此您也可以调用递归函数，就是这样所有递归都将发生在主机的运行时堆栈上。相反，使用堆栈式协程，当您调用递归函数时，递归将发生在协程自己的堆栈上。

要回答问题：

  • 使用自动存储变量（即“堆栈上”的变量）是否有任何限制？

不，这是 CO2 的仿真限制。在语言支持的情况下，协程可见的自动存储变量将被放置在协程的内部存储中。请注意我对“协程可见”的强调，如果协程调用内部使用自动存储变量的函数，那么这些变量将被放置在运行时堆栈中。更具体地说，无堆栈协程只需要保留恢复后可以使用的变量/临时变量。

需要明确的是，您也可以在 CO2 的协程主体中使用自动存储变量：

auto f() CO2_RET(co2::task<>, ())
{
    int a = 1; // not ok
    CO2_AWAIT(co2::suspend_always{});
    {
        int b = 2; // ok
        doSomething(b);
    }
    CO2_AWAIT(co2::suspend_always{});
    int c = 3; // ok
    doSomething(c);
} CO2_END

只要定义之前没有任何await.

  • 我可以从无堆栈协程调用哪些函数有任何限制吗？

不。

  • 如果没有为无堆栈协程保存堆栈上下文，那么当协程运行时，自动存储变量会去哪里？

上面已经回答，无堆栈协程不关心被调用函数中使用的自动存储变量，它们只会放在正常的运行时堆栈上。

如果您有任何疑问，只需检查 CO2 的源代码，它可能会帮助您了解引擎盖下的机制；）

于 2015-03-11T14:38:42.997 回答
4

您想要的是用户级线程/光纤 - 通常您希望将代码（在光纤中运行）暂停在深层嵌套调用堆栈中（例如解析来自 TCP 连接的消息）。在这种情况下，您不能使用无堆栈上下文切换（应用程序堆栈在无堆栈协程之间共享 -> 调用子程序的堆栈帧将被覆盖）。

您可以使用类似 boost.fiber 的东西，它基于 boost.context 实现用户级线程/纤维。

于 2015-03-12T10:25:37.020 回答