0

免责声明：我对神经网络和 Tensorflow 非常陌生。

我正在尝试创建一个 QA 应用程序，用户提出问题，应用程序给出答案。我尝试的大多数传统方法都不起作用或不够准确或需要人工干预。我正在研究无监督的 QA 应用程序，那是我遇到BERT的时候。

谷歌声称的BERT是最先进的神经网络模型，并在 Squad 2.0 的排行榜上取得了最高分。我希望将此模型用于我的应用程序并测试其性能。

我在Compute Engine 中创建了一个 Windows 2012 Datacenter 版虚拟机。我使用ctpu 创建了 Cloud TPU。

我在 Cloud Storage 中有BERT 大型无壳模型。

如何使用SQUAD 2.0训练 BERT 大型无壳模型？

如果我错了，请随时纠正我，我理解 Cloud TPU 只是一个类似于 CPU 或 GPU 的设备。但是，如果您阅读本文，他们会解释说 Cloud TPU 是一个虚拟机（“在 Cloud TPU 上，您可以使用 BERT-Large 作为...运行”）。

如here中所述，我在哪里运行run_squad.py？

python run_squad.py \
  --vocab_file=$BERT_LARGE_DIR/vocab.txt \
  --bert_config_file=$BERT_LARGE_DIR/bert_config.json \
  --init_checkpoint=$BERT_LARGE_DIR/bert_model.ckpt \
  --do_train=True \
  --train_file=$SQUAD_DIR/train-v2.0.json \
  --do_predict=True \
  --predict_file=$SQUAD_DIR/dev-v2.0.json \
  --train_batch_size=24 \
  --learning_rate=3e-5 \
  --num_train_epochs=2.0 \
  --max_seq_length=384 \
  --doc_stride=128 \
  --output_dir=gs://some_bucket/squad_large/ \
  --use_tpu=True \
  --tpu_name=$TPU_NAME \
  --version_2_with_negative=True

对于此参数，如何从虚拟机访问存储桶文件vocab_file？

外部 IP 地址是$TPU_NAME环境变量的值吗？

4

1 回答 1

1

所以 TPU 目前只能从 GCS 中读取。您下载的模型应上传到您自己创建的另一个 GCS 存储桶。这就是 TPU 访问vocab_file其他文件的方式。

于 2019-06-16T01:04:19.723 回答