我正在尝试在一个相当大的数据集、最新的 wikidump（22G txt 文件）上训练Glove https://github.com/stanfordnlp/GloVe/blob/master/src/glove.c 。我正在训练的词汇总数为 170 万。每个文件（shuffle、cooccur、vocab_count）直到 glove 运行顺利，没有任何内存错误。（我的内存 = 64G）
但是，当我跑 glove 时，我得到“分段错误（核心转储）”。
aerin@capa:~/Desktop/GloVe/build$ ./glove -input-file cooccurrence.shuf.bin -vocab-file vocab.txt -save-file glove300 -t-iter 25 -gradsq-file gradsq -verbose 2 -vector-size 300 -threads 1 -alpha 0.75 -x-max 100.0 -eta 0.05 -binary 2 -model 2
TRAINING MODEL
Read 1939406304 lines.
Initializing parameters...done.
vector size: 300
vocab size: 1737888
x_max: 100.000000
alpha: 0.750000
Segmentation fault (core dumped)
我也尝试了不同的线程数：1、2、4、8、16、32 等。没有运行。有人可以指点我在哪里看吗？
更新
我将词汇量从 170 万个减少到 100 万个，glove.c 运行时没有出现“分段错误”错误。所以是内存错误。但我很想学习如何解决这个错误并能够在更大的数据集上训练模型！任何评论都将受到高度重视。谢谢。