python-3.x - 如何获得预训练的 XLNET 句子嵌入？

Question

我想获得任何给定句子的 XLNET 预训练句子嵌入。请提供代码片段以获取嵌入

Answer 1

可以参考 Hugging Face XLNet 模型使用示例。有关如何使用变形金刚的更多详细信息，请参阅拥抱脸官方课程。

from transformers import XLNetTokenizer, XLNetModel
import torch

tokenizer = XLNetTokenizer.from_pretrained("xlnet-base-cased")
model = XLNetModel.from_pretrained("xlnet-base-cased")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state