我有一个仅包含卷积（甚至没有激活）的简单模型，我想在使用多核的 ARM Android 设备上的 Caffe2 中对其进行基准测试。

当我跑

它在单核上运行。

速度基准是使用以下方法构建的：

在 X86 上，它是通过

并设置 OMP_NUM_THREADS=8 有帮助，但对 ARM 没有帮助

我是否需要更改 arm 的构建命令、设置一些环境变量、一些二进制参数或其他东西？

当主机有多个内核时，我无法在 docker 中的模型上运行推理。该模型通过 PyTorch 1.0 ONNX 导出器导出：

使用单核启动模型服务器（包装在 Flask 中）会产生可接受的性能（cpuset 将进程固定到特定的 cpu）docker run --rm -p 8081:8080 --cpus 0.5 --cpuset-cpus 0 my_container

来自的回应ab -c 1 -n 1000 http://0.0.0.0:8081/predict\?itemids\=5,100

但是将它固定到四个核心会为同一个 ab-call 提供完全不同的统计数据docker run --rm -p 8081:8080 --cpus 0.5 --cpuset-cpus 0,1,2,3 my_container

模型推理是这样完成的，除了这个问题，它似乎按预期工作。（当然，这在与模型导出完全不同的环境中运行）

OMP_NUM_THREADS=1在容器环境中也存在，这有一些影响，但这不是最终问题。

您在此处看到的基准统计数据是在具有 8 个超线程的本地计算机上运行的，因此我不应该使我的计算机饱和并影响测试。这些结果也出现在我的 kubernetes 环境中，并且在那里我得到了大量的 CFS（完全公平调度程序）限制。

我在 kubernetes 环境中运行，所以我无法控制主机暴露多少 CPU，并且在那里进行某种固定似乎也有点 hacky。

有没有办法将 caffe2 模型推断固定到单个处理器？我在这里做明显错误的事情吗？caffe2.Predictor 对象是否不适合此任务？

任何帮助表示赞赏。

编辑：

我在这里添加了我能想到的最简单的可重现示例，其中包括 docker-container 和 run-script：https ://github.com/NegatioN/Caffe2Struggles

尝试在 google colab 上使用 python = 2.7、cuda 10、cudnn 7.5 导入 caffe2.python 时出现分段错误

我尝试过使用 cuda 9，错误是：libcudart.9.so 无法打开共享对象

!wget https://anaconda.org/pytorch/pytorch/1.1.0/download/linux-64/pytorch-1.1.0-py2.7_cuda10.0.130_cudnn7.5.1_0.tar.bz2

!tar xvjf pytorch-1.1.0-py2.7_cuda10.0.130_cudnn7.5.1_0.tar.bz2

!cp -r lib/python2.7/site-packages/* /usr/local/lib/python2.7/dist-packages/

检查 Caffe2 构建是否成功

!python -c 'from caffe2.python import core' 2>/dev/null && echo "Success" || 回声“失败”

!python -c '从 caffe2.python 导入工作区；打印（工作区。NumCudaDevices（））'

错误是：

/bin/bash: line 1:
409 Segmentation fault (core dumped) python -c 'from caffe2.python import core' 2> /dev/null

失败

警告：root：此 caffe2 python 运行不支持 GPU。将在仅 CPU 模式下运行。

预期的 ：

成功

1

我正在尝试在 Windows 中设置没有 gpu 的 caffe2，但出现以下错误：

我已经尝试从 caffe2 页面安装，但没有成功。所以我尝试了 pytorch 的 github 中的步骤： https ://github.com/pytorch/pytorch#binaries

我已经从 Anaconda 的 VSCODe 运行了这个。我已经安装了所有依赖项。

我正在从源头构建。我从 vscode 运行 build_winows.bat。

我想使用支持 GPU 的 caffe2。我用 conda 环境（命令：）成功安装了 caffe2（Ubuntu 16.04，python2.7 conda install pytorch-nightly -c pytorch）

它已成功安装（我用命令检查了它：python2 -c 'from caffe2.python import core' 2>/dev/null && echo "Success" || echo "Failure"它说“成功”）

但是，当我检查 caffe2 GPU 构建（命令 : python2 -c 'from caffe2.python import workspace; print(workspace.NumCudaDevices())）时，它返回 0。

我已经有了 cuda、cuDNN、nccl，但我不明白为什么 caffe2 没有检测到可用的 GPU ..

我正在尝试安装Facebook 的 Detectron，所以我需要安装 Caffe2。我遵循了这个指示。

git clone https://github.com/pytorch/pytorch.git && cd pytorch git submodule update --init --recursive
基本上，当我运行以下命令时，我使用和克隆 PyTorch 存储库 python setup.py install

它达到 84-86%，我得到这个错误。

系统信息：

Ubuntu 18.04 LTS (Bionic Beaver)
Python 3.6.8 和 Python 2.7.15
OpenCV 3.4.0 两个 Python 版本
CUDA 10.2 (Nvidia 430.26)

我以前设法让这个工作，但不记得如何。

我正在尝试安装 pytorch

但它失败了，因为它无法定位libavutil/motion_vector.h

到目前为止我已经尝试过：

• 已安装libavutil-dev
• 确保ffmpeg已安装
• 关注https://github.com/facebookresearch/VMZ/blob/master/tutorials/Installation_guide.md

还有其他想法吗？

当尝试使用vcpkgwith在 Windows 10vs2015中安装caffe2:x64-windows时，我收到一个错误dumpbin.exe：

转储文件 E:\vcpkg\packages\caffe2_x64-windows\debug\lib\Caffe2_CPU.lib 链接：致命错误 LNK1104：无法打开文件 'E:\vcpkg\packages\caffe2_x64-windows\debug\lib\Caffe2_CPU.lib'

我认为问题在于dumpbin.exe进程中使用的版本，它无法打开大 lib 文件，这个大于 2 GB，但在目录中C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\bin我找到了 amd64_x86 等其他版本的目录，dumpbin但我不知道如何配置vcpkg为使用此版本的dumpbin程序。

解决

我解决了我在vcpkg的解决方案中检查代码的问题，我将所有类型为“VC”/“bin”的路径更改为“VC”/“amd64_x86”，这样我在编译后使用了vcpkg使用的chaintool caffe2 我撤消了我的更改。

We can deploy MobileNet on Smartphone by TensorFlow Lite, Caffe2 or OpenCV, and I think Caffe2 will provide the best performance with higher fps. But why? Is the performance gap between them so large? Thanks.

我正在尝试在 android 设备上运行 Caffe2 模型，我成功运行了 AICameraDemo 应用程序，但我的模型初始化网络比 sqeeznet 模型大 7 倍，并且使用预测器或 RunNetOnce 将初始化网络加载到工作区需要永远。

我看到了有关此的帖子，其中大部分来自 2018 年，所以我想知道从那时起是否有任何变化。

如果不可能，是否有另一个框架可以让我在 android 设备上运行这么大的模型？

感谢您的任何回答。