3

我不知道如何访问我的数据文件中 CNTKTextFormat 中的注释列。例如，在本教程中，您有以下内容：

19  |S0 178:1 |# BOS      |S1 14:1 |# flight  |S2 128:1 |# O
19  |S0 770:1 |# show                         |S2 128:1 |# O
19  |S0 429:1 |# flights                      |S2 128:1 |# O

如何访问评论的数据？

4

1 回答 1

3

如果您像这样实例化您的小批量源：

data_source = (CTFDeserializer("mydata.ctf", ...), randomize=False, ...)

然后，您可以使用 Python 打开您传递给 CTFDeserializer 的输入文件，并逐个 minibatch 解析它。设置非常重要，randomize=False否则阅读器和您下面的手动解析将不同步。例如，如果文件对象是stream并且小批量大小是batch_size，则以下代码将打印每个序列的注释列作为字典，将前面的列名（S0、S1 或 S0）映射到在注释列中找到的字符串序列。

从 itertools 导入 groupby 从集合导入 defaultdict

 stream = open("mydata.ctf")

 lines = [stream.readline() for i in range(batch_size)]
 for seqid, sequence in groupby(lines, lambda s:s.split()[0]):
     mapping = defaultdict(list)
     for sample in sequence:
         parts = sample.split('|')
         unused = [mapping[parts[i-1].split(' ')[0].strip()].append(p.strip()) for i, p in enumerate(parts) if p.startswith('#')]
     print(seqid, mapping)

对于上面的示例输入，它产生：

19 defaultdict(<class 'list'>, {'S0': ['# BOS', '# show', '# flights'], 'S2': ['# O', '# O', '# O'], 'S1': ['# flight']})

此示例适用于上述输入格式。如果您的实际格式不同，则必须根据您的目的进行调整。

于 2017-01-12T22:53:52.527 回答