0

我对视频处理非常陌生，现在我在 Swift 中使用 FFmpeg 和 VideoToolbox 解码我的 H.264 RTSP-Stream。

目前我在提取 sps 和 pps 时有点不知所措

-> 它们存储在哪里？我有以下选项获取数据

 - AVFrame.data
 - AVFrame.extended_data
 - AVFrame.metadata
 - AVPacket.data
 - AVPacket.side_data
 - AVCodecContext.extra_data

.. 等等

现在我正在使用AVCodecContext.extra_data，但这似乎与此处的示例有点不同

我获取 SPS 和 PPS 的代码是这个

private func receiveRawFrame(frame:AVFrame,codecContext:AVCodecContext){
        //Get the extradata, where the SPS and the PPS is stored?
        let codecContextExtraData:UnsafeMutablePointer<UInt8> = codecContext.extradata
        
        let startCodeIndex = 0
        var secondStartCodeIndex = 0
        var thirdStartCodeIndex = 0
        
        var naluType = self.getNaluType(naluTypeRaw: codecContextExtraData[startCodeIndex + 4] & 0x1F)
        
        if naluType == .sps{
            print("Yeah SPS")
            for i in startCodeIndex+4...startCodeIndex + 40{
                if (codecContextExtraData[Int(i)] == 0x00 && codecContextExtraData[Int(i)+1] == 0x00 && codecContextExtraData[Int(i)+2] == 0x00 && codecContextExtraData[Int(i)+3] == 0x01){
                    secondStartCodeIndex = i
                    spsSize = i
                    break
                }
            }
            let secondNaluTypeRaw = (codecContextExtraData[Int(secondStartCodeIndex) + 4] & 0x1F)
            naluType = self.getNaluType(naluTypeRaw: secondNaluTypeRaw)
        }
        if naluType == .pps{
            print("Yeah PPS")
            for i in (spsSize+4)..<(spsSize+30){
                if (codecContextExtraData[Int(i)] == 0x00 && codecContextExtraData[Int(i)+1] == 0x00 && codecContextExtraData[Int(i)+2] == 0x00 && codecContextExtraData[Int(i)+3] == 0x01){
                    print("Never gets here")
                    break
                }
            }
        }
        else{
            print("other -> TBD")
        }
    }
}

获取 naluType 的进一步函数：

private func getNaluType(naluTypeRaw:UInt8) -> NaluType {
        switch naluTypeRaw {
        case 0: return .pframe
        case 5: return .iframe
        case 7: return .sps
        case 8: return .pps
        default:
            return .unknown
        }
    }

使用此自定义枚举器：

enum NaluType {
        case sps
        case pps
        case pframe
        case iframe
        case unknown
    }

正如你在receiveRawFrame函数的注释中看到的那样，我从来没有得到第三个 NALU。当我打印AVCodecContext.extraDatafrom [0]to[50]我得到以下输出

0 0 0 1 103 66 192 30 217 3 197 104 64 0 0 3 0 64 0 0 12 3 197 139 146 0 0 0 1 104 203 140 178 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

现在有道理了，我从来没有得到第三个 NALU，因为只有 2 个 StartCode，但其余的在哪里？

4

0 回答 0