loss-function - 具有 CTC 损失的 CNN

Question

我想使用预训练的 CNN 模型（ResNet50、VGG 等）提取特征，并将这些特征与 CTC 损失函数一起使用。

我想将其构建为文本识别模型。

任何人都知道我该如何实现这一目标？

Answer 1

我不确定您是要微调预训练模型还是使用模型进行特征提取。要执行后者，冻结 pettrained 模型权重（在 PyTorch 中有几种方法可以做到这一点，最简单的方法是在模型上调用 .eval()），并将模型最后一层的 logits 提供给新的输出头。有关更深入的指南，请参阅此处的 PyTorch 教程。