3

我想写一些着色器(表面/片段/...)来用一些新的颜色重新着色我的漫反射纹理。目前我有这个版本的着色器(我正在尝试实时重新着色纹理):

//sm_surf

uniform vec4 colorTarget; (used in full version)
uniform vec4 colorTint; (used in full version)

vec4 colorTexture = texture2D(u_diffuseTexture, _surface.diffuseTexcoord);
//vec4 colorTexture = _sample.diffuse;//the same result

vec4 tinted = colorTexture;
tinted.r = max(0.0, colorTexture.r - 0.2);
_surface.diffuse = tinted;

这是 OpenCV 中的代码(我只是事先重新着色纹理并将其用作新的漫反射纹理):

image = cv::imread([path UTF8String], cv::IMREAD_UNCHANGED);
for (int i = 0; i < image.rows; i++) {
    for (int j = 0; j < image.cols; j++) {
        cv::Vec4b pixel = image.at<cv::Vec4b>(i,j);
        pixel[2] = fmin(255, fmax(0, pixel[2] - 50));
        image.at<cv::Vec4b>(i,j) = pixel;
    }
}

cv::imwrite([newPath UTF8String], image);

对于这个测试,我只想减少颜色的 R 分量。结果:

OpenCV(正确

opencv 图像

SceneKit(不正确

SceneKit 图像

漫反射纹理包含 Alpha 通道。

(由 mnuages 解决) 此外,似乎在重新着色着色器 alpha 通道后被破坏。使用此着色器:

tinted.r = 1;
tinted.g = 0;
tinted.b = 0;

我的结果是:场景包

代替:opencv

原始质地:原来的

我怎样才能像在openCV中一样重新着色漫反射纹理?


更新: 这是 SceneKit 着色器和 OpenCV 的结果(我已经从图像中删除了所有透明像素):

开放式简历: 开放式CV

场景套件: 场景套件

着色器:

vec4 colorTexture = _surface.diffuse;
vec3 tinted = colorTexture.a > 0.0 ? colorTexture.rgb / colorTexture.a : colorTexture.rgb;
if (colorTexture.a == 1) {
    tinted.r = max(0.0, colorTexture.r - 0.2);
} else {
    colorTexture.a = 0;
}
_surface.diffuse = vec4(tinted, 1.0) * colorTexture.a;

和 OpenCV 代码:

pixel[2] = fmax(0, pixel[2] - 50);//2 because it's bgr in OpenCV
if (pixel[3] != 255) {
    pixel[3] = 0;
}

一些更奇怪的事情:我已将我的 OpenCV 代码更改为此以生成新纹理

pixel[0] = 255 - (j % 4) * 30;//b
pixel[1] = 0;//g
pixel[2] = 0;//r
pixel[3] = 255;

如果我像这样改变这个纹理:

if (pixel[0] == 255) {
    pixel[0] = 255;pixel[1] = 255;pixel[2] = 255;
} else {
    pixel[0] = 0;pixel[1] = 0;pixel[2] = 0;
}

我收到这样的消息:

opencv

使用这个 SceneKit 着色器应该是一样的:

vec4 colorTexture = _surface.diffuse;
vec3 tinted = colorTexture.rgb; // colorTexture.a == 1
if (tinted.b > 0.99) {
    tinted = vec3(0,0,0);
} else {
    tinted = vec3(1,1,1);
}
_surface.diffuse = vec4(tinted, 1.0) * colorTexture.a;

但我收到这个:

在此处输入图像描述

有一些白色的条纹,但太细了。

我可以通过将条件更改为 tinted.b > 0.85 来增加它们,但这已经是一个错误,因为 _surface.diffuse 中的颜色与纹理中的颜色不同。似乎 SceneKit 会插入纹理或类似的东西。


更新2:

我已经为这个问题添加了源代码(1.5Mb)。有3个球体:

1 顶部)具有原始纹理

2 左)使用着色器重新着色的纹理(newR = r - 0.2)(浮点数)

3 右)使用 OpenCV 重新着色的纹理(newR = r - 51)(uint8)

他们是不同的!场景不包含任何灯光/环境/...只有 3 个球体。

4

1 回答 1

3

SceneKit 使用预乘 alpha。以下应该有效:

vec3 tinted = colorTexture.a > 0.f ? colorTexture.rgb / colorTexture.a : colorTexture.rgb;
tinted.r = max(0.0, tinted.r - 0.2);
_surface.diffuse = vec4(tinted, 1.f) * colorTexture.a;

编辑

此代码在您附加的示例中运行良好,但需要对两种技术进行一些更改才能 100% 匹配。正如其他 SO 线程中所解释的,SceneKit 着色器在线性颜色空间中运行。

这意味着51在您的 CPU 代码中不会映射到0.2您的 GPU 代码中。要获得相同的结果,您需要将采样颜色(线性)转换为着色颜色(非线性),应用着色操作,然后再转换回线性。


至于带有条纹的示例,这是预期的行为。Mipmapping将导致灰度值。如果您移动到离对象足够近的位置,以便将 1 个纹素投影到屏幕上的约 1 个像素上,那么您将只能再次获得黑白值。

于 2018-08-06T13:47:43.723 回答