3

我正在尝试将 ffmpeg 编译成 javascript，以便我可以使用 node.js 解码 H.264 视频流。流是打包到 RTP NALU 中的 H.264 帧，因此任何解决方案都必须能够接受 H.264 帧而不是整个文件名。这些帧不能在 MP4 或 AVI 之类的容器中，因为解复用器需要每个帧的时间戳才能进行解复用，但我正在处理实时流，没有容器。

通过 RTP 流式传输 H.264

下面是我用来监听 udp 套接字的基本代码。在“消息”回调中，数据包是一个 RTP 数据报。数据报的数据部分是一个 H.264 帧（P 帧和 I 帧）。

var PORT = 33333;
var HOST = '127.0.0.1';

var dgram = require('dgram');
var server = dgram.createSocket('udp4');

server.on('listening', function () {
    var address = server.address();
    console.log('UDP Server listening on ' + address.address + ":" + address.port);
});

server.on('message', function (message, remote) {
    console.log(remote.address + ':' + remote.port +' - ' + message);
    frame = parse_rtp(message);

    rgb_frame = some_library.decode_h264(frame); // This is what I need.

});

server.bind(PORT, HOST);

我找到了Broadway.js库，但我无法让它工作，而且它不能处理我需要的 P 帧。我还找到了 ffmpeg.js，但可以让它工作，它需要一个完整的文件而不是一个流。同样，fluent-ffmpeg似乎不支持文件流。所有示例都显示了传递给构造函数的文件名。所以我决定编写自己的 API。

我目前的解决方案尝试

我已经能够将 ffmpeg 编译成一个大的 js 文件，但我不能那样使用它。我想围绕 ffmpeg 编写一个 API，然后将这些函数公开给 JS。所以在我看来我需要做以下事情：

  1. 将 ffmpeg 组件（avcodec、avutil 等）编译成 llvm bitcode。
  2. 编写一个公开解码功能并使用 EMSCRIPTEN_KEEPALIVE 的 C 包装器。
  3. 使用 emcc 编译包装器并将其链接到在步骤 1 中创建的位码。

我找到了 WASM+ffmpeg，但它是中文的，有些步骤不清楚。特别是有这一步：

emcc web.c process.c ../lib/libavformat.bc ../lib/libavcodec.bc ../lib/libswscale.bc ../lib/libswresample.bc ../lib/libavutil.bc \

:(我认为我被困在哪里

我不明白所有 ffmpeg 组件是如何编译成单独的 *.bc 文件的。我按照那篇文章中的 emmake 命令操作，最终得到了一个大的 .bc 文件。

2个问题

1. 有谁知道使用 emscripten 编译 ffmpeg 以便我可以将一些 API 暴露给 javascript 的步骤？
2. 有没有更好的方法（带有体面的文档/示例）使用节点解码 h264 视频流？

4

2 回答 2

1

问题1：按照官方文档

考虑您通常使用以下命令构建的情况：

./configure
make

要使用 Emscripten 构建，您可以使用以下命令：

# Run emconfigure with the normal configure command as an argument.
./emconfigure ./configure

# Run emmake with the normal make to generate linked LLVM bitcode.
./emmake make

# Compile the linked bitcode generated by make (project.bc) to JavaScript.
# 'project.bc' should be replaced with the make output for your project (e.g. 'yourproject.so')
#  [-Ox] represents build optimisations (discussed in the next section).
./emcc [-Ox] project.bc -o project.js

问题2：可以在节点环境中调用c/c++ libs。您可以编写一些 c/c++ 胶水代码或使用代理节点模块，如node-ffi。

使用 node-ffi 调用现有库可能更容易。可能会有所帮助:)

于 2018-11-30T02:42:33.587 回答
0

Easiest way, specially if you need to run it in web browsers, is to utilize Media Source Extension. I managed to do it in just 3 days. Moreover, it is used automatically GPU hardware ( Cuda, Intel Qsv, ... ) acceleration as far as browser builtin support. It is important if it runs in the real World app. I have tested yesterday, just 5% of my old i7 machine CPU to decode 4K ( 4 times more than 1080p ) IP Camera H.264 nal raw live streaming. I am not sure it under server side js like nodejs, but I expect the result is similar. Contact me if you need further more. About H.265 / HEVC, you need emscripten it partially of ffmpeg or x265 or OpenH265 similarily, with minimal bc size ( less than 1,2,3 M depending on config. ). Good luck...

于 2020-06-17T09:44:54.190 回答