我最近对 AI 产生了兴趣，我想通过 youtuber 给我的一些脚本来训练 GPT-NEO。我找到了这个关于制作数据集的视频，但他使用的是短引号，我很困惑我应该将 <|endoftext|> 放在哪里来放置我的长脚本。我应该在每个段落之后将它们与视频标题分组还是在脚本末尾进行分组，然后继续下一个脚本？
我最近对 AI 产生了兴趣，我想通过 youtuber 给我的一些脚本来训练 GPT-NEO。我找到了这个关于制作数据集的视频，但他使用的是短引号，我很困惑我应该将 <|endoftext|> 放在哪里来放置我的长脚本。我应该在每个段落之后将它们与视频标题分组还是在脚本末尾进行分组，然后继续下一个脚本？