10

我正在尝试编写一个应用程序，它将捕获屏幕的视频流并将其发送到远程客户端。我发现在 Windows 上捕获屏幕的最佳方法是使用DXGI Desktop Duplication API（自 Windows 8 起可用）。Microsoft 提供了一个简洁的示例，它将重复的帧流式传输到屏幕。现在，我一直想知道对这些帧进行编码并通过网络发送它们的最简单但仍然相对较快的方法是什么。

这些帧来自AcquireNextFrame一个包含桌面位图和元数据的表面，其中包含已更新的脏区和移动区域。从这里，我有几个选择：

  1. 从 DirectX 表面提取位图，然后使用ffmpeg等外部库将位图系列编码为 H.264 并通过 RTSP 发送。虽然简单，但我担心这种方法会太慢，因为它没有利用任何本地 Windows 方法。将 D3D 纹理转换为与 ffmpeg 兼容的位图似乎是不必要的工作。
  2. 从这个答案：将 D3D 纹理转换为 IMFSample 并使用 MediaFoundation 的SinkWriter对帧进行编码。我找到了这个视频编码教程，但我还没有找到一种方法来立即获取编码帧并将其发送而不是将它们全部转储到视频文件中。

因为我以前没有做过这样的事情，所以我问我是否朝着正确的方向前进。最后，我想要一个简单的、最好是低延迟的桌面捕获视频流，我可以从远程设备上查看它。

另外，我想知道我是否可以利用桌面复制提供的脏和移动区域。我可以通过网络发送它们并在客户端进行处理，而不是对帧进行编码，但这意味着我的客户端必须有可用的 DirectX 11.1 或更高版本，如果我想流式传输到移动平台，这是不可能的.

4

1 回答 1

7

您可以使用IMFTransform接口进行 H264 编码。从ID3D11Texture2D获得 IMFSample 后，只需将其传递给IMFTransform::ProcessInput并从IMFTransform::ProcessOutput获得编码的 IMFSample 。

有关编码详细信息，请参阅此示例。

获得编码的 IMFSamples 后，您可以通过网络一一发送。

于 2016-01-14T09:47:49.593 回答