我重新训练了一个 RESNET50 模型以在 EDGE TPU 上重新识别。但是，似乎没有办法将一批图像提取到 EDGE_TPU。
我想出了一个为图像运行多个相同模型的解决方案。
但是，有没有办法加快多个模型的模型推理？现在的线程甚至比单模型推理还要慢
问问题
526 次
2 回答
1
是的，edgetpu 的架构师不允许批量处理。您是否尝试过模型流水线？https://coral.ai/docs/edgetpu/pipeline/
不幸的是，目前仅在 C++ 中可用，但我们希望在第四季度中期将其扩展到 python。
于 2020-09-14T18:38:05.017 回答
0
因为批量推理现在不可用，所以流水线是另一个次要选择。但是，在体验了我的模型之后，我们可以通过为 EDGE_TPU 提供多个单个输入作为另一种选择来制作伪批处理
于 2020-10-08T10:48:09.757 回答