2

GPT3 或其他模型如何从下一个单词预测到进行情感分析、对话、摘要、翻译……？

想法和算法是什么？它是如何工作的 ？

Fe 生成段落是生成下一个单词，然后是下一个 ..next ..

另一方面，情感分析任务是一段文本是好/坏，这是一个分类？从段落中提取有意义的句子是更加不同的任务。

我们如何从下一个令牌转到......！

安德烈感谢您的答复。

看来我的问题还不够清楚。所以让我详细说明。Next-token 预测可以在普通文本语料库上进行训练。

word1 w2 w3 w4 .....

Next Sentiment 可以在 sentence=>marker=>label 上进行训练

sent1: word1 w2 w3 w4 ..... marker label1
sent2: word1 w2 w3 w4 ..... marker label2
sent3: word1 w2 w3 w4 ..... marker label3
....

它不再是corpus-next-token-generation。它是下一代代币。问题是你需要有 LABALED 数据！

文本总和怎么样......让我们使用关键字提取（最终基于这些关键字选择句子）再次你需要更复杂的标签。

  paragraph1 => kw1
  paragraph1 => kw2
  paragraph2 => kw3
  paragraph3 => kw4

它仍然可以被认为是下一个令牌预测，但您需要再次专门的 LABELED 数据。

所以我的问题只给出了语料库文本，你如何做情感，文本摘要....等？

否则 GPT3 只是用数千个工时来标记数据的扩展 DNN ！

飞跃在哪里？

4

1 回答 1

1

GPT-3 是一个快速学习的自然语言生成器。

可以调整这些通用模型来执行特定任务，例如分类、翻译、摘要等。

为此，我们需要：

  1. 为所需任务微调模型
  2. 预处理查询
  3. 查询 NLG（调用 API）
  4. 后处理答案

例子：

1-微调：

This is a tweet sentiment classifier


Tweet: "I loved the new Batman movie!"
Sentiment: Positive
###
Tweet: "I hate it when my phone battery dies."
Sentiment: Negative
###
Tweet: "My day has been "
Sentiment: Positive
###
Tweet: "This is the link to the article"
Sentiment: Neutral
###

2-查询样本：

This new music video blew my mind

2.1 - 预处理查询（以与微调中找到的相同格式封装查询）：

Tweet: "This new music video blew my mind"
Sentiment:

3 - 查询 API。预期的结果应该是：

 Positive
###

4 - 后处理/格式：

  • 删除尾随空格'###'和任何其他多余的行。
  • 尝试精确匹配结果之间['Positive', 'Neutral', 'Negative']
  • 如果找到任何其他答案，请处理错误。

我希望这个例子足够清楚。您可以找到有关文档和示例的更多信息。

于 2022-01-02T04:25:42.573 回答