google-cloud-dataproc - 在 Dataproc pyspark 地图中调用 GCP Translate API

Question

我正在尝试从 pyspark 为文件中的每一行调用翻译客户端 api 的语言检测方法。

我创建了一个如下的地图方法，但这项工作似乎只是冻结而没有错误。如果我删除对翻译 API 的调用，它执行得很好。是否可以在 pySpark 地图中调用 Google 客户端 API 方法？

映射方法做翻译

def doTranslate(数据):

translate_client = translate.Client()

# Get the message information
messageId = data[0]
messageContent = data[6]

detectedLang = translate_client.detect_language(messageContent)

r = []
r.append(detectedLang)
return r

Answer 1

弄清楚了！！您的问题使我朝着正确的方向前进。谢谢！

原来我在通话中遇到了异常，因为我超出了邮件大小的默认配额。我添加了一个 try/except 块并确定这是问题所在。然后减小消息大小（我只是在测试，所以不想弄乱配额）解决了这个问题。