python - 在终端中编码、解码阿拉伯语言时出现问题

Question

在我的脚本中，余弦相似度首先需要将阿拉伯字符串转换为向量，然后在 Linux 下的终端上执行余弦相似度 --> 问题，同时将阿拉伯字符串转换为向量，生成阿拉伯语为：

[u'\u0627\u0644\u0634\u0645\u0633 \u0645\u0634\u0631\u0642\u0647 \u0646\u0647\u0627\u0631\u0627', u'\u0627\u0644\u0633\u0645\u0627\u0621 \u0632\u0631\u0642\u0627\u0621']

我的脚本：

train_set = ["السماء زرقاء", "الشمس مشرقه نهارا"] #Documents
test_set = ["الشمس التى فى السماء مشرقه","السماء زرقاء"] #Query
stopWords = set(stopwords.words('english'))

vectorizer = CountVectorizer(stop_words = stopWords)
transformer = TfidfTransformer()
trainVectorizerArray = vectorizer.fit_transform(train_set).toarray()
testVectorizerArray = vectorizer.transform(test_set).toarray()
print 'Fit Vectorizer to train set', trainVectorizerArray
print 'Transform Vectorizer to test set', testVectorizerArray
cx = lambda a, b : round(np.inner(a, b)/(LA.norm(a)*LA.norm(b)), 3)

for vector in trainVectorizerArray:
    print vector
    for testV in testVectorizerArray:
        print testV
        cosine = cx(vector, testV)
        print cosine

Answer 1

你的结果是一个字符串列表，只要加入字符串，你就会得到一个清晰的句子：

>>> print "\n".join(a)
الشمس مشرقه نهارا
السماء زرقاء