tensorflow - 如何使用tensor2tensor对文本进行分类？

Question

我只想使用 tensor2tensor 进行二进制文本分类，只需要注意，没有 LSTM 或 CNN 预处理层。我认为transformer_encoder模型对我来说是最好的，但是我找不到任何需要的预定义Problem或Hparams。谁能给我一个使用 tensor2tensor 或其他建议的文本分类示例？

Answer 1

我建议关注他们的sentiment_imdb问题，因为情感分析是一个文本分类问题：

https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/data_generators/imdb.py

transformer_encoder他们还在主页上有一个关于针对此问题训练 a 的简短部分：

https://github.com/tensorflow/tensor2tensor#sentiment-analysis

Answer 2

尝试这个

PROBLEM= sentiment_imdb
MODEL= transformer_encoder
HPARAMS=transformer_tiny

DATA_DIR=$HOME/t2t_data
TMP_DIR=/tmp/t2t_datagen
TRAIN_DIR=$HOME/t2t_train/$PROBLEM/$MODEL-$HPARAMS

mkdir -p $DATA_DIR $TMP_DIR $TRAIN_DIR

# Generate data
t2t-datagen \
  --data_dir=$DATA_DIR \
  --tmp_dir=$TMP_DIR \
  --problem=$PROBLEM

# Train
# *  If you run out of memory, add --hparams='batch_size=1024'.
t2t-trainer \
  --data_dir=$DATA_DIR \
  --problem=$PROBLEM \
  --model=$MODEL \
  --hparams_set=$HPARAMS \
  --output_dir=$TRAIN_DIR