1

我正在尝试在 Keras 中进行多类分类。我正在使用众 包数据集。下面是我的代码：

import pandas as pd

from keras.preprocessing.text import Tokenizer
from keras.preprocessing.sequence import pad_sequences
import numpy as np
from sklearn.preprocessing import LabelEncoder

from keras.models import Sequential
from keras.layers import Embedding, Flatten, Dense
from sklearn.preprocessing import LabelEncoder



df=pd.read_csv('text_emotion.csv')

df.drop(['tweet_id','author'],axis=1,inplace=True)


df=df[~df['sentiment'].isin(['empty','enthusiasm','boredom','anger'])]


df = df.sample(frac=1).reset_index(drop=True)

labels = []
texts = []


for i,row in df.iterrows():
    texts.append(row['content'])
    labels.append(row['sentiment'])

tokenizer = Tokenizer()
tokenizer.fit_on_texts(texts)


sequences = tokenizer.texts_to_sequences(texts)

word_index = tokenizer.word_index


print('Found %s unique tokens.' % len(word_index))

data = pad_sequences(sequences)


encoder = LabelEncoder()
encoder.fit(labels)
encoded_Y = encoder.transform(labels)


labels = np.asarray(encoded_Y)


print('Shape of data tensor:', data.shape)
print('Shape of label tensor:', labels.shape)

indices = np.arange(data.shape[0])
np.random.shuffle(indices)
data = data[indices]
labels = labels[indices]
print labels.shape


model = Sequential()



model.add(Embedding(40000, 8,input_length=37))

model.add(Flatten())




model.add(Dense(100,activation='relu'))
model.add(Dense(50, activation='relu'))
model.add(Dense(9, activation='softmax'))

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])


model.fit(data,labels, validation_split=0.2, epochs=150, batch_size=100)

我收到此错误：

ValueError: Error when checking target: expected dense_3 to have shape (9,) but got array with shape (1,)

有人可以指出我的逻辑错误吗？我知道我的问题有点类似于Exception: Error when checks model target: expected dense_3 to have shape (None, 1000) but got array with shape (32, 2)

但我还没有设法找到错误。

4

1 回答 1

0

您在该代码中犯了多个错误，我将建议一些改进以使代码更好：

  1. remove：for i,row in df.iterrows():可以直接使用

    labels = df['sentiment']
texts = df['content']

  2. 在使用tokenizer = Tokenizer(5000)set max words 时，这是词汇量。

  3. 填充时data = pad_sequences(sequences, maxlen=37)提供最大长度。

  4. 不要仅将输出转换为 values 数组labels = np.asarray(encoded_Y)，这不是回归。您必须对其进行一次热编码：

    from keras.utils import np_utils
labels = np_utils.to_categorical(encoded_Y)

  5. 提供嵌入层时，model.add(Embedding(40000, 8,input_length=37))您的词汇大小为 40K，嵌入维度为 8。由于您提供的数据集具有接近 40K 的唯一词，因此没有多大意义。不能全部给予适当的嵌入。model.add(Embedding(5000, 30, input_length=37))更改为更合理的数字词汇大小。注意：如果您想使用40000请更新Tokenizer(5000)到相同的号码。

  6. 使用 , 之类embedding_dim = 8的变量vocab_size=40000。无论价值是多少。

  7. 而不是model.add(Dense(9, activation='softmax'))作为最后一层使用它，保持代码干净。

    model.add(Dense(labels.shape[1], activation='softmax'))

最终工作代码附在此链接上

于 2018-02-26T14:40:40.237 回答