0

我正在尝试将一系列推文从意大利语翻译成英语。它们包含在一个 csv 文件中,所以我用 pandas 提取它们来计算 Vader 的情绪。不幸的是,我收到此错误 json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)。

我已经尝试从推文中删除表情符号并使用其他一些帖子中指示的 vpn,但它不起作用。

def remove_emoji(text):
    return emoji.get_emoji_regexp().sub(u'', text)

def extract_emojis(str):
  return ''.join(c for c in str if c in emoji.UNICODE_EMOJI)

def clean_emojis(text):
    toreturn = ""
    for c in text:
        if c not in emoji.UNICODE_EMOJI:
            toreturn += c
    return toreturn

def sentiment_analyzer_scores(text, engl=True):
    if engl:
        translation = text
    else:
        try:
            emojis = extract_emojis(text) 
            text = clean_emojis(text)

            demoji.replace(text)
            text = remove_emoji(text)
            text = text.encode('ascii', 'ignore').decode('ascii')

            # translator= Translator(from_lang="Italian",to_lang="English")
            # translation = translator.translate(text)
            translation = translator.translate(text).text
            # print(translation)

        except Error as e:
            print(text)
            print(e)
            pass

    text = translation + emojis
    # print(text)
    score = analyser.polarity_scores(text)
    return score['compound']

def anl_tweets(lst, engl=True):
    sents = []
    id = 0
    for tweet_text in lst:
        try:
            sentiment = sentiment_analyzer_scores(tweet_text, engl)
            sents.append(sentiment)
            id = id + 1
            print("Sentiment del tweet n° %s = %s" % (id, sentiment))

        except Error as e:
            sents.append(0)
            print(e)
    return sents

#Main
translator = Translator()
analyser = SentimentIntensityAnalyzer()
file_name = 'file.csv'
df = pd.read_csv(file_name)
print(df.shape)

# Calculate Sentiment and add column
df['tweet_sentiment'] = anl_tweets(df.tweet_text, False)
# Save the modifies
df.to_csv(file_name, encoding='utf-8', index=False)
4

1 回答 1

0

这与表情符号无关,谷歌对你可以翻译多少个字符有限制,当你达到这个限制时,谷歌 API 只会阻止你。

在此处阅读配额 简单的解决方案是将您的脚本分成多个块并使用代理服务器/不同的 IP 地址。

另一种选择是 https://pypi.org/project/translate/ (虽然我没有尝试过)

于 2019-06-04T22:54:09.343 回答