问题标签 [torchtext]

我正在尝试将OpenNMT-py与 python 2.7 一起使用。OpenNMT-py 需要torchtext，所以我安装了它，但现在当我运行我的程序时，我收到以下错误消息。

我试图寻找解决此问题的解决方案，但找不到任何解决方案。任何帮助，将不胜感激。

我格式化的方式是：

每行中的第一个字符串是词汇项，另一个是 pos 标签。但是空行（我用来表示句子的结尾）AttributeError: 'Example' object has no attribute 'text'在运行给定代码时给了我错误：

如何以正确的方式将 EOS 指示为 torchtext？

我有这段代码并想评估加载的数据是否正确，或者它是否为实际文本字段使用了错误的列等。

如果我的文件有“Tweet”列作为文本，“Affect Dimension”作为类名，那么将它们放在字段部分是否正确？

编辑：TabularDataset 包括一个示例对象，可以在其中读取数据。读取 csv 文件时，仅接受“，”作为分隔符。其他一切都会导致数据损坏。

当我尝试通过打印BucketIterator对象的下一次迭代来查看批次时，AttributeError会抛出 。

我正在尝试使用 torchtext 中的 BucketIterator.splits 函数从 csv 文件中加载数据以在 CNN 中使用。除非我有一批最长的句子比最大的过滤器尺寸短，否则一切正常。

在我的示例中，我有大小为 3、4 和 5 的过滤器，因此如果最长的句子没有至少 5 个单词，我会收到错误消息。有没有办法让 BucketIterator 为批次动态设置填充，同时设置最小填充长度？

这是我用于 BucketIterator 的代码：

我希望有一种方法可以在 sort_key 或类似的东西上设置最小长度？

我试过这个但它不起作用：

我使用 anaconda3 安装了 pytorch，并创建了名为“torchTest”的虚拟 conda 环境。我安装了所有需要的模块，但是代码在 jupyter python 中不起作用。

我使用 1.pip install https://github.com/pytorch/text/archive/master.zip 2.and pip install torchtext 安装了 torchtext。我提到的所有内容都已成功下载到我的 MAC OS X 中，但无法理解我的 Jupyter 笔记本有什么问题..

我从 Torchtext 文档中了解到，导入 csv 文件的方式是通过 TabularDataset。我是这样做的：

“label”和“statement”是我的 csv 文件中两列的标题名称。我将它们定义为 data.Field，但“标签”和“语句”似乎实际上并不包含我的 csv 文件中的数据，尽管控制台将它们识别为数据字段对象没有问题。当我尝试使用 statement.build_vocab(train, max_size=25000) 构建词汇表时，我发现了这个问题。我打印了len(statement.vocab)，返回的是“2”，这显然不能反映csv文件中的实际数据。导入 csv 数据时我做错了什么还是我的词汇构建做错了？是否有单独的方法将数据放入字段对象中？谢谢！！

我正在关注并实现这个关于 Torchtext 的简短教程中的代码，鉴于 Torchtext 的文档很差，这非常清楚。

创建迭代器（批处理生成器）后，他建议创建一个包装器以生成更多可重用的代码。（参见教程中的第 5 步）。

该代码包含一个令人惊讶的长而奇怪的行，我不明白它会引发SyntaxError: invalid syntax。有没有人知道发生了什么？

（有问题的那一行开头是：if self.y_vars is <g [...]）

我在 NLP 项目中使用 Torchtext。我的系统中有一个预训练的嵌入，我想使用它。因此，我尝试了：

但是，显然，出于某种原因，这仅接受预先接受的嵌入的简短列表的名称。特别是，我收到此错误：

我发现一些人有类似的问题，但到目前为止我能找到的解决方案是“更改 Torchtext 源代码”，如果可能的话，我宁愿避免。

有没有其他方法可以使用我的预训练嵌入？允许使用另一种西班牙语预训练嵌入的解决方案是可以接受的。

有些人似乎认为我不清楚我在问什么。因此，如果标题和最后一个问题还不够：“我需要帮助，在 Torchtext 中使用预训练的西班牙语词嵌入”。

我有一个数据框，它有两列（评论和情绪）。我正在使用 pytorch 和 torchtext 库来预处理数据。是否可以在torchtext中使用数据框作为源来读取数据？我正在寻找类似的东西，但不是

我对数据执行了一些操作（清理，更改为所需格式），最终数据位于数据框中。

如果不是torchtext，您会建议哪些其他软件包有助于预处理数据帧中存在的文本数据。我在网上找不到任何东西。任何帮助都会很棒。