2

在我的应用程序中，我应该以不寻常的方式播放视频。诸如用于特殊目的的交互式播放器之类的东西。

这里的主要问题：

  • 视频分辨率可以从 200*200px 到 1024*1024 px
  • 我应该能够将速度从 -60 FPS 更改为 60 PFS（在这种情况下，视频应该根据所选速度播放得更慢或更快，负数意味着视频应该向后播放）
  • 我应该在视频上画线和对象并用图像缩放它。
  • 如果内容超过屏幕尺寸，我应该有能力缩放图像并平移它
  • 我应该有能力改变这个视频的亮度、对比度和反转颜色

现在我在做下一件事：

  • 我将视频拆分为 JPG 帧
  • 每秒创建 N 次计时器（播放速度控制）
  • 每个计时器滴答我用 OpenGL 绘制新纹理（下一个 JPG 帧）
  • 使用 OpenGL ES 转换（平移、缩放）进行缩放和平移

在我使用 320*240 像素之前，一切看起来都很好，但如果我使用 512*512 像素，我的播放率就会下降。也许是计时器行为问题，也许是 OpenGL。有时，如果我试图以高播放率（超过 10-15 FPS）打开大纹理，应用程序会因内存警告而崩溃。

解决此问题的最佳做法是什么？我应该挖什么方向？也许 cocos2d 或其他游戏引擎对我有帮助？Mb JPG 不是纹理的最佳解决方案，我应该使用 PNG 或 PVR 还是其他？

4

3 回答 3

2

将视频数据保留为视频并用于AVAssetReader获取原始帧。用作色彩空间，并在GLESkCVPixelFormatType_420YpCbCr8BiPlanarVideoRange中进行 YUV->RGB 色彩空间转换。这将意味着在内存中保留更少的数据，并使您的大部分图像处理更加简单（因为您将使用亮度和色度数据而不是 RGB 值）。

您无需为此烦恼 Cocos 2d 或任何游戏引擎。我强烈建议对 OpenGL ES 2.0 和着色器进行一些试验。将 OpenGL 用于视频非常简单直接，将游戏引擎添加到混合中是不必要的开销和抽象。

当您将图像数据上传到纹理时，不要每帧都创建一个新纹理。相反，创建两个纹理：一个用于亮度数据，一个用于色度数据，并简单地在每一帧重复使用这些纹理。我怀疑您的内存问题是由于每帧使用许多图像和新纹理而可能没有删除旧纹理。

于 2012-08-17T19:57:41.370 回答
1

JPEG 帧的解压缩成本非常高。第一步：使用PNG。

可是等等！还有更多。

Cocos2D 可以通过它对精灵表的强大支持来帮助你。

然而，最大的帮助可能来自于TexturePacker的打包纹理。使用 PVR.CCZ 压缩可以以惊人的速度加快速度，足以让您在更大的视频尺寸下获得更好的帧速率。

于 2012-08-13T21:20:44.013 回答
1

弗拉德，简短的回答是，您可能永远无法同时使用列出的所有这些功能。以 60 FPS 播放视频 1024 x 1024 视频真的会很费力，我非常怀疑 iOS 硬件是否能够跟上 60 FPS 的数据传输速率。即使是设备上的 h.264 硬件，在 1080p 下也只能做到 30FPS。这可能是可能的，但是然后在视频上分层图形渲染并期望能够同时编辑亮度/对比度，同时做的事情太多了。

您应该专注于实际可能的事情，而不是尝试完成所有功能。如果您想查看将 iPad 硬件推向极限的示例 Xcode 应用程序，请查看我的Fireworks示例项目。此代码同时在屏幕上显示多个已解码的 h.264 视频。该实现是围绕 CoreGraphics API 构建的，但关键是由于零复制优化，Apple 将纹理上传到 OpenGL 的 impl 非常快。使用这种方法，可以将大量视频流式传输到设备。

于 2013-07-09T03:58:25.593 回答