3

一段时间以来，我一直在使用 MediaCodec 和 MediaMuxer 来从虚拟显示器进行录制。我得到这个工作得很好。现在我想从麦克风录制声音并将其添加到视频中。我找到了许多完全符合我要求的示例，但是所有这些示例都使用了 MediaCodec 已弃用的部分。我真的很困惑如何重构到新的 api。

首先，我有一个线程从这样的 AudioRecord 读取字节。

while (running && recording) {
            audioPresentationTimeNs = System.nanoTime();

            iReadResult = mAudioRecord.read(mTempBuffer, 0, SAMPLES_PER_FRAME);
            if(iReadResult == AudioRecord.ERROR_BAD_VALUE || iReadResult == AudioRecord.ERROR_INVALID_OPERATION)
                Log.e(TAG, "audio buffer read error");

            // send current frame data to encoder
            try {

这不会起作用，因为 dequeueInputBuffer 不能被称为异步......那么我需要做什么才能在这里获得正确的 inputBufferIndex 呢？

                int inputBufferIndex = audioEncoder.dequeueInputBuffer(-1);

                if (inputBufferIndex >= 0) {
                    inputBuffer = audioEncoder.getInputBuffer(inputBufferIndex);
                    inputBuffer.clear();
                    inputBuffer.put(mTempBuffer);

                    if(VERBOSE)Log.d(TAG, "sending frame to audio encoder");
                    audioEncoder.queueInputBuffer(inputBufferIndex, 0, mTempBuffer.length, audioPresentationTimeNs / 1000, 0);
                }
            } catch (Throwable t) {
                Log.e(TAG, "sendFrameToAudioEncoder exception");
                t.printStackTrace();
            }
        }

然后我有我的 AudioEncoder 使用的回调，它应该从 AudioRecord 接收数据：

private class audioEncoderCallback extends MediaCodec.Callback{

我应该在这里接收 inputData 并以某种方式发送到 onOutputBufferAvailable 吗？

    @Override
    public void onInputBufferAvailable(MediaCodec codec, int index) {
    }

这部分应该将数据传递给复用器

    @Override
    public void onOutputBufferAvailable(MediaCodec codec, int index, MediaCodec.BufferInfo info) {

        if(muxerStarted) {
            ByteBuffer encodedData = codec.getOutputBuffer(index);

            encodedData.position(info.offset);
            encodedData.limit(info.offset + info.size);

            mMuxer.writeSampleData(audioTrackIndex, encodedData, info);
            if (VERBOSE) Log.d(TAG, "AudioEncoder sent " + info.size + " bytes to mMuxer");

            codec.releaseOutputBuffer(index, false);
        }
    }

    @Override
    public void onError(MediaCodec codec, MediaCodec.CodecException e) {
        Log.d(TAG, "Error: " + e);
    }

我是否正在考虑同时使用 audioTrackIndex 和 videoTrackIndex 将数据传送到多路复用器中？

    @Override
    public void onOutputFormatChanged(MediaCodec codec, MediaFormat format) {
        if (VERBOSE) Log.d(TAG, "encoder output format changed: " + format);

        audioTrackIndex = mMuxer.addTrack(format);
        if(videoTrackIndex != -1) {
            muxerStarted = true;
            mMuxer.start();
        }
    }
}
4

0 回答 0