11

我们需要解析包含重复键的 YAML 文件，所有这些都需要解析。跳过重复是不够的。我知道这违反了 YAML 规范，我不想这样做，但我们使用的第三方工具支持这种用法，我们需要处理它。

文件示例：

build:
  step: 'step1'

build:
  step: 'step2'

解析后我们应该有一个类似的数据结构：

yaml.load('file.yml')
# [('build', [('step', 'step1')]), ('build', [('step', 'step2')])]

dict不能再用于表示解析的内容。

我正在寻找 Python 中的解决方案，但没有找到支持此功能的库，我错过了什么吗？

或者，我很乐意编写自己的东西，但想让它尽可能简单。ruamel.yaml看起来像 Python 中最先进的 YAML 解析器，而且看起来可扩展性适中，是否可以扩展它以支持重复字段？

4

3 回答 3

12

PyYAML 只会默默地覆盖第一个条目，ruamel.yaml ¹ 将给出一个DuplicateKeyFutureWarningif 与旧 API 一起使用，并引发一个DuplicateKeyError新 API。

如果您不想Constructor为所有类型创建一个完整的，覆盖映射构造函数SafeConstructor应该可以完成这项工作：

import sys
from ruamel.yaml import YAML
from ruamel.yaml.constructor import SafeConstructor

yaml_str = """\
build:
  step: 'step1'

build:
  step: 'step2'
"""


def construct_yaml_map(self, node):
    # test if there are duplicate node keys
    data = []
    yield data
    for key_node, value_node in node.value:
        key = self.construct_object(key_node, deep=True)
        val = self.construct_object(value_node, deep=True)
        data.append((key, val))


SafeConstructor.add_constructor(u'tag:yaml.org,2002:map', construct_yaml_map)
yaml = YAML(typ='safe')
data = yaml.load(yaml_str)
print(data)

这使：

[('build', [('step', 'step1')]), ('build', [('step', 'step2')])]

但是，似乎没有必要step: 'step1'列入清单。以下将仅在存在重复项时创建列表（如有必要，可以通过缓存 的结果进行优化self.construct_object(key_node, deep=True)）：

def construct_yaml_map(self, node):
    # test if there are duplicate node keys
    keys = set()
    for key_node, value_node in node.value:
        key = self.construct_object(key_node, deep=True)
        if key in keys:
            break
        keys.add(key)
    else:
        data = {}  # type: Dict[Any, Any]
        yield data
        value = self.construct_mapping(node)
        data.update(value)
        return
    data = []
    yield data
    for key_node, value_node in node.value:
        key = self.construct_object(key_node, deep=True)
        val = self.construct_object(value_node, deep=True)
        data.append((key, val))

这使：

[('build', {'step': 'step1'}), ('build', {'step': 'step2'})]

几点：

  • 可能不用说，这不适用于YAML 合并键( <<: *xyz)
  • 如果您需要 ruamel.yaml 的往返功能 ( yaml = YAML())，那将需要更复杂的construct_yaml_map.

  • 如果要转储输出，则应为此实例化一个新YAML()实例，而不是重新使用用于加载的“已修补”实例（它可能有效，这只是为了确定）：

    yaml_out = YAML(typ='safe')
yaml_out.dump(data, sys.stdout)

    这给出了（第一个construct_yaml_map）：

    - - build
  - - [step, step1]
- - build
  - - [step, step2]

  • 在 PyYAML 和 ruamel.yaml 中不起作用的是yaml.load('file.yml'). 如果您不想open()自己归档文件，可以执行以下操作：

    from pathlib import Path  # or: from ruamel.std.pathlib import Path
yaml = YAML(typ='safe')
yaml.load(Path('file.yml')

¹免责声明：我是该软件包的作者。

于 2017-07-04T12:58:04.800 回答
2

如果您可以非常轻微地修改输入数据，您应该可以通过将单个类似 yaml 的文件转换为多个 yaml 文档来做到这一点。yaml 文档可以在同一个文件中，如果它们单独---在一行中分隔，并且您很容易看起来有两个相邻的换行符分隔的条目：

with open('file.yml', 'r') as f:
    data = f.read()
    data = data.replace('\n\n', '\n---\n')

    for document in yaml.load_all(data):
        print(document)

输出：

{'build': {'step': 'step1'}}
{'build': {'step': 'step2'}}
于 2017-07-04T12:20:28.267 回答
2

您可以覆盖 pyyaml 加载密钥的方式。例如，您可以使用带有每个键的值列表的 defaultdict：

from collections import defaultdict
import yaml


def parse_preserving_duplicates(src):
    # We deliberately define a fresh class inside the function,
    # because add_constructor is a class method and we don't want to
    # mutate pyyaml classes.
    class PreserveDuplicatesLoader(yaml.loader.Loader):
        pass

    def map_constructor(loader, node, deep=False):
        """Walk the mapping, recording any duplicate keys.

        """
        mapping = defaultdict(list)
        for key_node, value_node in node.value:
            key = loader.construct_object(key_node, deep=deep)
            value = loader.construct_object(value_node, deep=deep)

            mapping[key].append(value)

        return mapping

    PreserveDuplicatesLoader.add_constructor(yaml.resolver.BaseResolver.DEFAULT_MAPPING_TAG, map_constructor)
    return yaml.load(src, PreserveDuplicatesLoader)
于 2018-01-26T11:41:51.507 回答