我正在使用预训练模型构建一个三元标记解码器我有一个文件,该文件在每一行(特征、权重)上都包含标记特征或三元组特征。我需要构建两个字典来从我的主程序中访问这些值,主程序将遍历特征并查找权重以在维特比算法的计算中使用它们。下面的代码运行(我插入了打印语句等),但是当它结束时,IDLE 说没有响应,我必须中断控制 C。该文件在 Word 中有 613 页,总共有 32K 数据对。为什么程序没有响应?有没有更有效的方法来做到这一点?
def tag_tri_form():
f_tag=open('tag.model','r')
tag_dic={}
trigram_dic={}
for line in f_tag:
lines=line.split()
if 'TAG' in lines[0]:
tag_dic[lines[0]]=lines[1]
else:
trigram_dic[lines[0]]=lines[1]
return tag_dic,trigram_dic