问题标签 [siamese-network]

我正在尝试实现我自己的连体网络。完整的错误是：

但是，如果我"randperm(numel(idxs),2)"在控制台中输入它可以正常工作并"numel(idxs)"返回 8

亲爱的社区。我想分享我现在面临的问题。杰森 TX2：

• 喷气背包4.5
• 轨道载体
• 张量流 2.4.0
• 凯拉斯 2.4.0
• 蟒蛇3.6

主持人：

• Ubuntu 18.04
• 张量流 2.4.0
• keras 2.4.0
• 蟒蛇3.6

在宿主中，我创建了一个连体网络，并进行了训练。对于连体网络，我使用的是VGG16，并且正在做微调。问题出在jetson TX2上。当我运行面部识别 python 脚本（包括来自主机的模型）时，使用 OpenCV 进行面部检测运行有点慢，但是当它必须识别面部时，jetson tx2 运行速度太慢。为了帮助我解决这个问题，你需要知道什么？为什么连体网络推理在 jetson tx2 中运行速度太慢？

我想创建一个连体网络来比较两个字符串的相似性。

我正在尝试遵循本教程。此示例适用于图像，但我想使用字符串表示（在字符级别）并且我被困在文本的预处理中。

假设我有两个输入：

我需要准备它以输入我的模型。为此，我需要：

• 创建分词器
• 创建一个 tf 数据框
• 预处理此数据帧（标记输入）

所以我正在尝试以下方法：

但是我收到一个错误：

应用 preprocess_couple 函数之前的数据集状态如下：

我认为这个错误来自这样一个事实，即字符串通过函数 from_tensor_slices 转换为张量。但是，为输入预处理这些数据的正确方法是什么？

我正在训练基于 X 射线数据集的 Siamese CNN 模型，但它的验证准确度为 0.50。此外，训练和验证损失减少，而训练准确率也徘徊在 0.50 左右。

我认为这是一个错误或什么，但我不知道它到底是什么。也许使用交叉验证会有所帮助。

代码：

CNN的架构

概括

训练模型...（结果）

我必须实现这个网络：

类似于具有对比损失的孪生网络。我的问题是S1/ F1。论文这样说：

“F1并且S1是我们用来分别学习面部和语音模态的单位归一化嵌入的神经网络。在图 1 中，我们描述了训练F1和S1测试例程。它们由 2D 卷积层（紫色）、最大-池化层（黄色）和全连接层（绿色）。所有层之间使用 ReLU 非线性。最后一层是单位归一化层（蓝色）。对于面部和语音模态，F1返回S1250 维单位归一化嵌入”。

我的问题是：

1. 如何将 2D 卷积层（紫色）应用于具有形状的输入(number of videos, number of frames, features)？
2. 最后一层是什么？批量规范？F.normalize?

** 大家好！我是一名正在从事最后一年项目的本科生。这是我自己搭建的离线签名验证系统。这是我查找 FAR 和 FRR 的代码。**

** 在这里我调用我对 FAR 和 FRR 的定义来绘制图表**

**这些是结果**

当我绘制它时，我得到一个错误

我需要帮助。我对这些东西很陌生。我哪里错了？

我构建了一个 Siamese Network 对四类书法风格进行分类。Siamese Network 有两个分支，损失函数由三部分组成：两个分支的两个分类损失分别是 CrossEntropyLoss，和一个带有权重的 ContrastiveLoss；问题是第一个分支的分类准确率随着训练epoch的增加而提高，可以达到95%甚至更高。但是，另一个分支几乎没有变化，在50%。问题出在哪里？

我在文件中定义了 BasicNet 并没有粘贴到这里。

基于 Keras 上的示例 https://keras.io/examples/vision/siamese_contrastive/

这是我如何编写代码以获得 ROC 曲线

Keras 示例 ROC 曲线

Keras 示例混淆矩阵

如果代码和图像是正确的，因为示例是 10 类（0~9 位图像），如果我使用其他只有两个类的图像，这个 ROC 曲线代码需要更改任何部分吗？

因为我有两个类的相同代码的奇怪输出

图像结果一直很奇怪，混淆矩阵与 ROC 曲线不匹配

2 类 ROC 曲线

2 类混淆矩阵

根据演示代码

“使用具有对比损失的 Siamese 网络进行图像相似性估计” https://keras.io/examples/vision/siamese_contrastive/

我正在尝试通过model.save将模型保存到h5或hdf5；但是，在我使用 load_model（甚至尝试过 load_weights）之后，它显示了错误消息：未知操作码

已经完成了谷歌搜索工作，这一切都告诉我这是 py3.5~py3.6 之间的 python 版本问题但实际上我只使用 python 3.8 .... 其他信息说在模型构建或 load_model 中需要完成一些额外的工作

任何人都可以帮助提供保存和加载模型部分以使此演示代码更加完整，这将是非常好的谢谢！

我尝试使用与两个 resnet 网络（预训练）相结合的 siamese 网络来解决少数镜头问题。损失函数为对比损失，优化器为Adam，学习率为 0.001。

自实验开始以来，训练集损失和验证损失都下降了，模型在大约 450 个 epoch 时达到了最佳结果。

然而，当实验继续进行时，这两个数字都开始上升，并且达到了与实验开始时相同的程度。

• 火车损失图片
• val损失图片
• 火车ac图片
• val acc的图片

我不认为这是一个过度拟合的问题，有没有人知道发生了什么？我该如何解决这个问题？

谢谢！