0

假设我有一个在TensorFlow/ Keras/ Caffeetc中制作的网络模型。我可以使用CoreML ConvertersAPI​​从中获取CoreML模型文件（.mlmodel）。

现在，因为我有一个.mlmodel文件，并且知道input shape并且output shape，如何估计最大 RAM 占用空间？我知道一个模型可以有很多层，它们的大小可以比输入/输出形状大得多。

所以问题是：

  1. mlmodel在不编译和运行应用程序的情况下，是否可以通过某些公式/API 知道最大内存占用？
  2. 最大占用空间更接近最大中间层的内存大小，还是更接近所有层大小的总和？

任何建议表示赞赏。由于我是 CoreML 的新手，您可以提供任何反馈，如果需要，我会尝试改进问题。

4

2 回答 2

2

恕我直言，您在一天结束时提出的任何公式都必须基于网络可训练参数的数量。

对于网络分类，可以通过迭代找到，也可以使用现有的 API。

在喀拉拉邦。

import keras.applications.resnet50 as resnet

model =resnet.ResNet50(include_top=True, weights=None, input_tensor=None, input_shape=None, pooling=None, classes=2)
print model.summary()

Total params: 23,591,810
Trainable params: 23,538,690
Non-trainable params: 53,120

火炬：

def count_parameters(model):
    return sum(p.numel() for p in model.parameters() if p.requires_grad)

对于检测器，您可能需要对网络的所有重要部分执行相同的操作，包括主干网、rpn 等，无论您的网络由什么组成。

第二个重要参数是网络的精度。您必须听说过量化。它改变所有或部分层的浮点精度，并且可以是静态的（当网络以所需的精度训练并校准时）或在训练后转换网络时是动态的。最简单的动态量化将浮点数替换为线性层上的某种整数。pytorch 中的 Maskrcnn 可在相同数量的可训练参数的情况下使文件大小减小 30% 并显着减少内存消耗。

所以最后的等式就像 size = number_of_trainable_parameters * precision * X，其中 X 是您必须为您的特定网络和 coreml 细节找出的一些因素）

于 2021-03-23T18:57:02.183 回答
2

几年前我写了一篇博文，其中涉及到一些内容：https ://machinethink.net/blog/how-fast-is-my-model/

但是，请记住，Core ML 的实际行为是未知的。它很可能会尝试尽可能高效（即为不再需要的张量重用内存），但它是一个黑匣子，所以谁知道呢。找出答案的唯一方法是在实际设备上试用您的模型。

于 2021-03-24T09:43:55.913 回答