0

我想使用拥抱脸来预测数千个句子的情绪。


from transformers import pipeline
model_path = "cardiffnlp/twitter-xlm-roberta-base-sentiment"
pipe = pipeline("sentiment-analysis", model=model_path, tokenizer=model_path)

from datasets import load_dataset

data_files = {
    "train": "/content/data_customer.csv"
}

dataset = load_dataset("csv", data_files=data_files)

dataset = dataset.map(lambda examples: dict(pipe(examples['text'])))

但我收到以下错误。

RuntimeError: The expanded size of the tensor (585) must match the existing size (514) at non-singleton dimension 1.  Target sizes: [1, 585].  Tensor sizes: [1, 514]

这篇文章提出了一种解决问题的方法，但没有说明如何在管道中解决它。 张量 a (707) 的大小必须与非单维 1 处的张量 b (512) 的大小相匹配

4

1 回答 1

3

只需在初始化管道时添加标记器参数。

pipe = pipeline("sentiment-analysis", model=model_path, tokenizer=model_path, max_length=512, truncation=True)
于 2022-01-07T19:52:42.017 回答