2

我正在尝试在 Webots 中使用 Pioneer 3AT 模拟线路跟随器。这是我的应用程序涉及群体机器人的第一步。我已经放置了相机。但是，我无法在模拟显示中（实时）显示使用 OpenCV 处理的图像。目前，我计划使用https://www.cyberbotics.com/doc/reference/display中提到的显示节点来设置车道并显示。

但是，我无法启动并运行它。问题是如何在 webbots 显示器中显示处理后的 numpy 图像数组？

我目前拥有的代码：

camera = Camera("camera")
camera.enable(TIME_STEP);
display = Display("display")

while (robot.step(timestep) != -1):
    cameraData = camera.getImage();
    image = np.frombuffer(cameraData, np.uint8).reshape((camera.getHeight(), camera.getWidth(), 4))

现在，我如何显示imagein display？ 我试过了imageNew，imagePaste等等。但是，我通过 SWIG 得到了很多 C/C++ 错误，我也找不到任何相关的例子。（Webots 模拟器仅附带一个使用 display city.wbt 并使用静态图像的示例。我不确定是否可以使用。但是，该示例的 C 代码总结如下。）

// speedometer
WbDeviceTag display;
int display_width = 0;
int display_height = 0;
WbImageRef speedometer_image = NULL;

// initialize display (speedometer)
if (enable_display) {
    display = wb_robot_get_device("display");
    speedometer_image = wb_display_image_load(display, "speedometer.png");
}

// display background
wb_display_image_paste(display, speedometer_image, 0, 0, false);

PS：我已经为此花费了 4 个多小时，但我无法找到任何解决方案。Qt 上似乎有一个类似的问题（我没有使用 Qt）。但是，这个问题没有得到解答：在 webbots 中使用 opencv 的“imshow”绘制图像。 任何帮助将不胜感激，因为我计划开源我的整个项目。

编辑 1：我按照 Java 的以下注释尝试了以下操作。但是，我得到一个空白的显示屏幕。经过10个小时的努力，没有运气。

注意[Java]：如果pixel format参数设置为ARGB Display.imageNew，函数可以直接显示函数返回的图像。Camera.getImage

display.imageNew(cameraData, display.ARGB, camera.getHeight(), camera.getWidth())

4

2 回答 2

2

我想出了一种“官方方式”来启动和运行它。但是，我不喜欢这个解决方案，因为它没有直接集成到模拟器中（并且在使用这种方法时模拟变得太慢）。目前，我接受这个答案。但是，我会接受任何其他可以巧妙地集成到 Webots 中的答案。

cv2.startWindowThread()
cv2.namedWindow("preview")

while (robot.step(timestep) != -1):
    cv2.imshow("preview", image)
    cv2.waitKey(TIME_STEP)

来源： https ://cyberbotics.com/forum?message=7950

于 2019-10-09T03:49:25.867 回答
1

您会在 Webbots 中找到更多可能对您有所帮助的显示设备示例（它们使用 C/C++，但您应该能够为 Python 应用类似的机制）：

在 python 中，您应该能够将 OpenCV 图像显示到显示器中，其内容类似于：

    imageRef = display.imageNew(camera.getImage().tolist(), Display.RGB)
    display.imagePaste(imageRef, 0, 0)
于 2019-10-09T06:29:06.177 回答