1

我想在 AML 中使用 sentence_transformers 来运行 XLM-Roberta 模型以进行句子嵌入。我有一个脚本，我在其中导入 sentence_transformers：

from sentence_transformers import SentenceTransformer

运行 AML 管道后，此脚本的运行将失败，并出现以下错误：

AzureMLCompute job failed.
UserProcessKilledBySystemSignal: Job failed since the user script received system termination signal usually due to out-of-memory or segfault.
    Cause: segmentation fault
    TaskIndex: 
    NodeIp: #####
    NodeId: #####

我很确定这个导入会导致这个错误，因为如果我注释掉这个导入，脚本的其余部分就会运行。这很奇怪，因为 sentence_transformers 的安装成功了。

这是我的计算的详细信息：

Virtual machine size
STANDARD_NV24 (24 Cores, 224 GB RAM, 1440 GB Disk)
Processing Unit
GPU - 4 x NVIDIA Tesla M60

代理池：

Azure Pipelines

代理规格：

ubuntu-16.04

requirements.txt 文件：

torch==1.4.0
sentence-transformers

有没有人有这个错误的解决方案？

4

1 回答 1

2

我通过将 pytorch 版本从 1.4.0 更改为 1.6.0 解决了这个问题。所以 requirements.txt 看起来像这样：

torch==1.6.0
sentence-transformers

起初我尝试了一个与 pytorch 1.4.0 兼容的旧版本的句子转换器。但是老版本不支持“xml-roberta-base”模型，所以我尝试升级pytorch版本。

于 2020-12-01T23:48:58.210 回答