html - 从 wasm 修改画布

Question

是否可以从 Web 程序集有效地修改 html5 画布？

更新：

var imageData = context.getImageData(x, y, w, h)
var buffer = imageData.data.buffer;  // ArrayBuffer

如果缓冲区可写，则可能是这种方式。

Answer 1

不，不在 WebAssembly 和 web-api 开发的这个阶段。随着context.getImageData您获得一个ImageData带有新缓冲区的新对象，必须再次将其复制到 WebAssembly 实例的内存缓冲区中。但是如果你不需要从画布中读取，只需要写入，你可以ImageData.data在你的 WebAssembly 实例的内存中分配。使用 ImageData 构造函数

imageData = new ImageData(new Uint8ClampedArray(waInstance.export.memory.buffer, byteOffset, width*height*4), width, height)

imageData有一个指向您的数据的指针。在每次渲染时，在 WebAssembly 中进行工作并在 中使用相同imageData的context.putImageData(imageData)方法，每个周期只进行一次大数据复制。

Answer 2

WebAssembly 实例通常有一个线性内存区域，它作为数组缓冲区暴露给 JavaScript API。这既可以在 JS 中分配并在创建 WebAssembly 实例时传入，也可以由 WebAssembly 实例创建并导出到 JS 代码中。无论哪种方式，arraybuffer 都可用于有效地将数据复制到 Canvas 元素中或从 Canvas 元素中复制出来（使用 createImageData、getImageData 和 putImageData）。

Answer 3

1. 无论如何，您必须将像素复制到WebAssembly.Memory实例。然后修改并复制回来。
2. 我不知道为什么，但Uint8Array.set()在最新的 Chrome 中并不快。最好将数据重铸为 32 位（new Uint32Array(your_uint8array)），然后使用Uint32Array.set()复制。
3. 请记住，canva 的.getImageData()/.setImageData()并不快。可能是因为他们做了 alpha 预乘和其他事情。

总结一下：你最大的速度损失将在 .getImageData/.setImageData 中，这是无法避免的。其他事情有解决方法。

如果和优化的 JS 相比，wasm 会给你 10-20% 的好处，不算太多。

Answer 4

我知道解决方案已被接受，但如果其他人在这里寻找替代方案，我无论如何都会发布。

我没有积极参与 rust 的 wasm-bindgen 工具的开发，但它目前能够通过 web-sys crate 修改 canvas 元素。下面显示的代码取自 wasm-bindgen 书籍页面上的链接。

use std::f64;
use wasm_bindgen::prelude::*;
use wasm_bindgen::JsCast;

#[wasm_bindgen(start)]
pub fn start() {
    let document = web_sys::window().unwrap().document().unwrap();
    let canvas = document.get_element_by_id("canvas").unwrap();
    let canvas: web_sys::HtmlCanvasElement = canvas
        .dyn_into::<web_sys::HtmlCanvasElement>()
        .map_err(|_| ())
        .unwrap();

    let context = canvas
        .get_context("2d")
        .unwrap()
        .unwrap()
        .dyn_into::<web_sys::CanvasRenderingContext2d>()
        .unwrap();

    context.begin_path();

    // Draw the outer circle.
    context
        .arc(75.0, 75.0, 50.0, 0.0, f64::consts::PI * 2.0)
        .unwrap();

    // Draw the mouth.
    context.move_to(110.0, 75.0);
    context.arc(75.0, 75.0, 35.0, 0.0, f64::consts::PI).unwrap();

    // Draw the left eye.
    context.move_to(65.0, 65.0);
    context
        .arc(60.0, 65.0, 5.0, 0.0, f64::consts::PI * 2.0)
        .unwrap();

    // Draw the right eye.
    context.move_to(95.0, 65.0);
    context
        .arc(90.0, 65.0, 5.0, 0.0, f64::consts::PI * 2.0)
        .unwrap();

    context.stroke();
}

画布对象可以从被转换为 web 程序集的 rust 代码中访问。调用 web-assembly 代码的方法有很多种，但本示例建议使用包含这些内容的 index.js 文件和 webpack 之类的捆绑器。

import("path/to/wasm/canvas/code").catch(console.error)

有关此链接的端到端演示，请单击此链接作为参考。

帆布你好世界