0

我有一个与 Nvidias NVenc API 相关的问题。我想使用 API 来编码一些 OpenGL 图形。我的问题是,API 在整个程序中都没有报告错误,一切似乎都很好。但是生成的输出是不可读的,例如 VLC。如果我尝试播放生成的文件,VLC 会闪烁黑屏约 0.5 秒,然后结束播放。Video 的长度为 0,Vid 的大小似乎也很小。分辨率为1280*720,5秒录制大小仅为700kb。这是现实的吗?

申请流程如下:

  1. 渲染到辅助帧缓冲区
  2. 将帧缓冲区下载到两个 PBO 之一 (glReadPixels())
  3. 映射前一帧的 PBO,以获得 Cuda 可以理解的指针。
  4. 调用一个简单的 CudaKernel 将 OpenGLs RGBA 转换为 ARGB,NVenc 根据(p.18) 应该可以理解。内核读取 PBO 的内容并将转换后的内容写入一个 CudaArray(使用 cudaMalloc 创建),该 CudaArray 使用 NVenc 注册为 InputResource。
  5. 转换后的 Array 的内容被编码。完成事件加上相应的输出比特流缓冲区排队。
  6. 辅助线程侦听排队的输出事件,如果发出一个事件信号,则输出比特流被映射并写入硬盘。

NVenc-Encoder的初始化:

InitParams* ip = new InitParams();
m_initParams = ip;
memset(ip, 0, sizeof(InitParams));
ip->version = NV_ENC_INITIALIZE_PARAMS_VER;
ip->encodeGUID = m_encoderGuid;  //Used Codec
ip->encodeWidth = width; // Frame Width
ip->encodeHeight = height; // Frame Height
ip->maxEncodeWidth = 0; // Zero means no dynamic res changes
ip->maxEncodeHeight = 0; 
ip->darWidth = width; // Aspect Ratio
ip->darHeight = height; 
ip->frameRateNum = 60; // 60 fps
ip->frameRateDen = 1; 
ip->reportSliceOffsets = 0; // According to programming guide
ip->enableSubFrameWrite = 0;
ip->presetGUID = m_presetGuid; // Used Preset for Encoder Config

NV_ENC_PRESET_CONFIG presetCfg; // Load the Preset Config
memset(&presetCfg, 0, sizeof(NV_ENC_PRESET_CONFIG));
presetCfg.version = NV_ENC_PRESET_CONFIG_VER;
presetCfg.presetCfg.version = NV_ENC_CONFIG_VER;
CheckApiError(m_apiFunctions.nvEncGetEncodePresetConfig(m_Encoder,
    m_encoderGuid, m_presetGuid, &presetCfg));
memcpy(&m_encodingConfig, &presetCfg.presetCfg, sizeof(NV_ENC_CONFIG));
// And add information about Bitrate etc
m_encodingConfig.rcParams.averageBitRate = 500000;
m_encodingConfig.rcParams.maxBitRate = 600000;
m_encodingConfig.rcParams.rateControlMode = NV_ENC_PARAMS_RC_MODE::NV_ENC_PARAMS_RC_CBR;
ip->encodeConfig = &m_encodingConfig;
ip->enableEncodeAsync = 1; // Async Encoding
ip->enablePTD = 1; // Encoder handles picture ordering

CudaResource的注册

m_cuContext->SetCurrent(); // Make the clients cuCtx current
NV_ENC_REGISTER_RESOURCE res;
memset(&res, 0, sizeof(NV_ENC_REGISTER_RESOURCE));
NV_ENC_REGISTERED_PTR resPtr; // handle to the cuda resource for future use
res.bufferFormat = m_inputFormat; // Format is ARGB
res.height = m_height;
res.width = m_width;
// NOTE: I've set the pitch to the width of the frame, because the resource is a non-pitched 
//cudaArray. Is this correct? Pitch = 0 would produce no output.
res.pitch = pitch; 
res.resourceToRegister = (void*) (uintptr_t) resourceToRegister; //CUdevptr to resource
res.resourceType = 
    NV_ENC_INPUT_RESOURCE_TYPE::NV_ENC_INPUT_RESOURCE_TYPE_CUDADEVICEPTR;
res.version = NV_ENC_REGISTER_RESOURCE_VER;
CheckApiError(m_apiFunctions.nvEncRegisterResource(m_Encoder, &res));
m_registeredInputResources.push_back(res.registeredResource);

编码

m_cuContext->SetCurrent(); // Make Clients context current
MapInputResource(id); //Map the CudaInputResource
NV_ENC_PIC_PARAMS temp;
memset(&temp, 0, sizeof(NV_ENC_PIC_PARAMS));
temp.version = NV_ENC_PIC_PARAMS_VER;
unsigned int currentBufferAndEvent = m_counter % m_registeredEvents.size(); //Counter is inc'ed in every Frame
temp.bufferFmt = m_currentlyMappedInputBuffer.mappedBufferFmt;
temp.inputBuffer = m_currentlyMappedInputBuffer.mappedResource; //got set by MapInputResource
temp.completionEvent = m_registeredEvents[currentBufferAndEvent];
temp.outputBitstream = m_registeredOutputBuffers[currentBufferAndEvent];
temp.inputWidth = m_width;
temp.inputHeight = m_height;
temp.inputPitch = m_width;
temp.inputTimeStamp = m_counter;
temp.pictureStruct = NV_ENC_PIC_STRUCT_FRAME; // According to samples
temp.qpDeltaMap = NULL;
temp.qpDeltaMapSize = 0;

EventWithId latestEvent(currentBufferAndEvent,
    m_registeredEvents[currentBufferAndEvent]);
PushBackEncodeEvent(latestEvent); // Store the Event with its ID in a Queue

CheckApiError(m_apiFunctions.nvEncEncodePicture(m_Encoder, &temp));
m_counter++;
UnmapInputResource(id); // Unmap

非常感谢每一个小提示,在哪里看。我已经没有想法可能出了什么问题。

非常感谢!

4

1 回答 1

2

在来自 nvidia 论坛的hall822的帮助下,我设法解决了这个问题。

主要错误是我注册了我的 cuda 资源,其间距等于框架的大小。我正在使用 Framebuffer-Renderbuffer 来绘制我的内容。它的数据是一个普通的、无间距的数组。我的第一个想法,给出一个等于零的音高,失败了。编码器什么也没做。下一个想法是将其设置为帧的宽度,图像的四分之一被编码。

// NOTE: I've set the pitch to the width of the frame, because the resource is a non-pitched 
//cudaArray. Is this correct? Pitch = 0 would produce no output.
res.pitch = pitch; 

回答这个问题:是的,它是正确的。但是音高以字节为单位。所以因为我正在编码 RGBA 帧,所以正确的音高必须是FRAME_WIDTH * 4.

第二个错误是我的颜色通道不正确(参见我开篇文章中的第 4 点)。NVidia 枚举表示编码器需要 ARGB 格式的通道,但实际上是BGRA,因此始终为 255 的 alpha 通道污染了蓝色通道。

编辑:这可能是因为 NVidia 在内部使用了小端。我正在将像素数据写入字节数组,选择其他类型(如 int32)可能允许传递实际的 ARGB 数据。

于 2016-08-04T15:57:24.100 回答