objective-c - iOS 图像处理（失真）

Question

我最初考虑 CoreImage 来解决这个问题（因为我还需要进行面部识别），但我意识到，不幸的是，iPhone 上还没有包含 CI 失真过滤器。

我试图深入研究 GLImageProcessing、CImg 和 ImageMagick，尽管我在寻找学习其中任何一个的起点时遇到了很多麻烦。

鉴于存在图像失真的应用程序的数量，我知道这不会非常困难。

我不懂 C 或 C++，除非绝对必要，否则我没有时间学习这些语言。如果其中一个库是处理此任务的权威库，则将变得有必要。

有没有人有使用这些库的经验？

有没有专门针对 iOS5 的书？

我找到的资源：

• GLImageProcessing 示例项目 https://developer.apple.com/library/ios/#samplecode/GLImageProcessing/Introduction/Intro.html

• ImageMagick & MagickWand http://www.imagemagick.org/script/magick-wand.php

• CImg http://cimg.sourceforge.net/

• 简单的 iPhone 图像处理 http://code.google.com/p/simple-iphone-image-processing/

Answer 1

正如您所说，Core Image 目前的功能在 iOS 上有点受限。特别是，缺少像您在桌面上发现的自定义内核令人失望。您列出的其他替代方案（GLImageProcessing 除外，它不能进行这种过滤）都是受 CPU 限制的库，并且对于在移动设备上进行实时过滤来说太慢了。

但是，我可以向您指出我刚刚推出的一个名为GPUImage的开源框架，因为我找不到可以让您实现自定义效果的东西。顾名思义，GPUImage 使用 OpenGL ES 2.0 着色器对静止图像和视频进行 GPU 加速处理。您可以使用这些编写自己的自定义效果，因此您应该能够做任何您能想到的事情。该框架本身是Objective-C，并且具有相当简单的界面。

作为失真过滤器的示例，以下着色器（基于Danny Pflughoeft 回答中的代码）会产生一种鱼眼效果：

varying highp vec2 textureCoordinate;
uniform sampler2D inputImageTexture;

const mediump float bulgeFactor = 0.5;

void main()
{
    mediump vec2 processedTextureCoordinate = textureCoordinate - vec2(0.5);
    mediump float radius = processedTextureCoordinate.x * processedTextureCoordinate.x + processedTextureCoordinate.y * processedTextureCoordinate.y;
    mediump vec2 distortedCoordinate = vec2(pow(radius, bulgeFactor)) * processedTextureCoordinate + vec2(0.5);

    gl_FragColor = texture2D(inputImageTexture, distortedCoordinate);
}

这会对视频流产生这种效果：

在我的基准测试中，GPUImage 在 iPhone 4 上处理图像的速度比 Core Image 快 4 倍（比 CPU 处理速度快 6 倍），视频处理速度比 Core Image 快 25 倍（比 CPU 快 70 倍）。即使在最坏的情况下，它也能匹配 Core Image 的处理速度。

该框架仍然相当新，所以我现在拥有的库存过滤器数量很少，但我很快会添加更多。同时，您可以编写自己的自定义失真着色器来处理您的图像，并且所有内容的源代码都可供您根据需要进行调整。我关于它的介绍性文章有更多关于如何在你的应用程序中使用它的细节。