6

我的问题

我想使用一种由反向翻译数据集组成的 NLP 数据增强方法。

基本上，我有一个大型数据集（SNLI），由 1 100 000 个英语句子组成。我需要做的是：将这些句子翻译成一种语言，并将其翻译回英文。

对于几种语言，我可能必须这样做。所以我有很多翻译要做。

我需要一个免费的解决方案。

到目前为止我做了什么

我尝试了几个 python 模块进行翻译，但由于最近谷歌翻译 API 的变化，大多数都不起作用。如果我们应用此解决方案， googletrans似乎可以工作。

但是，它不适用于大数据集。谷歌限制了 15K 个字符（如this、this和this所指出的）。第一个链接显示了一个假设的解决方法。

我被封锁的地方

即使我应用了解决方法（每次迭代都初始化翻译器），它也不起作用，并且出现以下错误：

json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

我尝试使用代理和其他 Google 翻译网址：

URLS = ['translate.google.com', 'translate.google.co.kr', 'translate.google.ac', 'translate.google.ad', 'translate.google.ae', ...]

proxies = {    'http': '1.243.64.63:48730',   'https': '59.11.98.253:42645', }

t = Translator(service_urls=URLS, proxies=proxies)

但这并没有改变任何东西。

笔记

我的问题可能来自我使用多线程的事实：100 个工作人员来翻译整个数据集。如果它们并行工作，可能它们一起使用超过 15k 个字符。

但我应该使用多线程。如果我不这样做，翻译整个数据集将需要数周时间......

我的问题

如何修复此错误以便翻译所有句子？

如果不可能，对于这么大的数据集，是否有任何免费的替代方法可以在 Python 中获得机器翻译（不是强制使用谷歌翻译）？

4

1 回答 1

0

一百万个字符几乎是要翻译的文本。

目前，Google Cloud Translation V3 提供您可能想要使用的免费层级配额（每月免费 1-500,000 个字符）。由于它似乎不足以满足您的用例，您可能需要创建多个计费帐户或等待一个月才能翻译更多文本。

检查此链接以了解如何使用 python 执行文本翻译。

于 2019-07-26T18:33:42.350 回答