0

Kitti 有一个光流基准。他们要求流量估计为 48 位 PNG 文件，以匹配他们拥有的地面实况文件的格式。

地面真相PNG图像可在此处下载

Kitti 有一个 Matlab DevKit 用于估计与地面实况的比较。

我想将网络中的流量输出为 48 位整数 PNG 文件，以便可以将我的流量估计值与其他 Kitti 基准流量估计值进行比较。

来自网络的 numpy 缩放流文件可从此处下载

但是，我无法在 python 中将 float32 3D 数组流转换为 3 通道 48 位文件（每通道 16 位），因为图像库提供程序似乎不支持这一点，或者因为我做错了什么我的代码。任何人都可以帮忙吗？

我尝试了很多不同的库并阅读了很多帖子。

不幸的是，Scipy 输出了一个只有 24 位的 png。使用 scipy 生成的输出流估计 png可在此处获得

# Numpy Flow to 48bit PNG with 16bits per channel

import scipy as sp
from scipy import misc
import numpy as np
import png
import imageio
import cv2
from PIL import Image
from matplotlib import image

"""From Kitti DevKit:-

Optical flow maps are saved as 3-channel uint16 PNG images: The first 
channel
contains the u-component, the second channel the v-component and the 
third
channel denotes if the pixel is valid or not (1 if true, 0 otherwise). To 
convert
the u-/v-flow into floating point values, convert the value to float, 
subtract 2^15 and divide the result by 64.0:"""

Scaled_Flow = np.load('Scaled_Flow.npy') # This is a 32bit float
# This is the very first Kitti Test Flow Output from image_2 testing folder  
# passed through DVF
# The network that produced this flow is only trained to 51 steps, so it 
# won't provide an accurate correspondence
# But the Estimated Flow PNG should look green

ones = np.float32(np.ones((2,375,1242,1))) # Kitti devkit readme says 
that third channel is 1 if flow is valid for that pixel
# 2 for batch size, 3 for height, 3 for width, 1 for this extra layer of 
ones.
with_ones = np.concatenate((Scaled_Flow, ones), axis=3)

im = sp.misc.toimage(with_ones[-1,:,:,:], cmin=-1.0, cmax=1.0) # saves image object
im.save("Scipy_24bit.png", dtype="uint48") # Outputs 24bit only.

Flow = np.int16(with_ones) # An attempt at converting the format from 
float 32 to 16 bit integers
f512 = Flow * 512 # Kitti instructs that the flows are scaled by 512.

x = np.array(Scaled_Flow)
x.astype(np.uint16) # another attempt at converting it to unsigned 16 bit 
integers

try: # try PyPNG
    with open('PyPNGuint48bit.png', 'wb') as f:
        writer = png.Writer(width=375, height=1242, bitdepth=16)
        # Convert z to the Python list of lists expected by
        # the png writer.
        #z2list = x.reshape(-1, x.shape[1]*x.shape[2]).tolist()
        writer.write(f, x)
except:
    print("png lib approach didn't work, it might be to do with the 
sizing")

try: # try imageio
    imageio.imwrite('imageio_Flow_48bit.png', x, format='PNG-FI')
except:
    print("imageio approach didn't work, it probably couldn't handle the 
datatype")

try: # try OpenCV
    cv2.imwrite('OpenCVFlow_48bit_.png',x )
except:
    print("OpenCV approach didn't work, it probably couldn't handle the 
datatype")

try: #try: # try PIL
    im = Image.fromarray(x)
    im.save("PILLOW_Flow_48bit.png", format="PNG")
except:
    print("PILLOW approach didn't work, it probably couldn't handle the 
datatype")

try: # try Matplotlib
    image.imsave('MatplotLib_Flow_48bit.png', x)
except:
    print("Matplotlib approach didn't work, ValueError: object too deep 
for desired array")'''

我想获得一个与 Kitti Ground Truth 相同的 48 位 png 文件，看起来是绿色的。目前 Scipy 输出一个 24 位的 png 文件，看起来是蓝白色的。

4

1 回答 1

1

这是我对您想要做的事情的理解：

  1. 从 加载数据Scaled_Flow.npy。这是一个形状为 (2, 375, 1242, 2) 的 32 位浮点 numpy 数组。

  2. 通过以下方式将Scaled_Flow[1]（形状为 (375, 1242, 2) 的数组）转换为 16 位无符号整数：

    • 乘以 64，
    • 添加2**15, 和
    • 将值转换为np.uint16.

    这与您引用的描述相反：“要将 u-/v-流转换为浮点值，请将值转换为浮点数，减去 2^15 并将结果除以 64.0”。

  3. 通过连接一个全为 1 的数组，将第三维的长度从 2 增加到 3。
  4. 将结果保存到 PNG 文件中。

这是您可以做到这一点的一种方法。为了创建 PNG 文件，我将使用numpngw我编写的一个库，用于从 numpy 数组创建 PNG 和动画 PNG 文件。如果你给出numpngw.write_png一个数据类型为 numpy 的数组np.uint16，它将创建一个每通道 16 位的 PNG 文件（即在这种情况下为 48 位图像）。

import numpy as np
from numpngw import write_png


Scaled_Flow = np.load('Scaled_Flow.npy')
sf16 = (64*Scaled_Flow[-1] + 2**15).astype(np.uint16)
imgdata = np.concatenate((sf16, np.ones(sf16.shape[:2] + (1,), dtype=sf16.dtype)), axis=2)

write_png('sf48.png', imgdata)

这是该脚本创建的图像。

png 文件

于 2019-08-02T02:59:26.260 回答