-1

我有一个压缩的 freebase 数据转储，其中包含所有实体。如何使用 grep 或其他东西将数据转储修剪为仅包含英文实体？

这是我试图让 rdf 转储看起来像的样子：http ://play.golang.org/p/-WwSysL3y3

<card>
    <title></title>
    <image></image>
    <text></text>
    <facts>
        <fact></fact>
        <fact></fact>
        <fact></fact>
    </fact>
</card>

其中 card 是在所有子元素中具有内容的每个实体。标题是 /type/object/name。文本是由 完成的主题中间的图像"https://usercontent.googleapis.com/freebase/v1/image"%s"\n", id。Text 是实体的 /common/document/text。和事实及其事实儿童作为事实，如年龄，出生日期，身高，在搜索的知识面板中显示的事实。

这是我尝试在 Go ( Golang ) 中将 rdf 解析为 xml 的尝试。如果有人可以帮助我以这种形式获得 rdf，我将不胜感激。

这是我正在尝试做的算法或逻辑：

For every entity written in english:

    parse the `type/object/name`property's  and write that to the xml file in the `<title></title>` element.

    parse the mid and add that to `https://usercontent.googleapis.com/freebase/v1/image`and then write the result to the xml file in the <image></image> element.

    parse the common/document/text property and writes its value to the <text></text> element.

    And lastly, for each fact about the entity, write them to the <fact></fact> elements in the XML file, which are all children of the <facts></facts> element.
4

1 回答 1

0

我同意 Joshua Taylor 的观点，这个问题很难解读，因为实体通常是 Freebase 对象的同义词，它可能有多种语言的标签（或根本没有标签/文本）。

如果我们将问题改写为“如何从压缩的 Freebase 转储中过滤所有非英语文本？”这样的问题，它就变成了我们可以实际回答的问题。

在 RDF 中，所有字符串都用它们的语言标记，所以如果我们看到类似

ns:award.award_winner   rdfs:label      "Lauréat"@fr.

我们可以看出这Lauréat是英语中称为 Freebase 类型的法语名称Award Winner。

要过滤掉非英文标签，请使用 zgrep 过滤那些匹配“@...但不匹配”@en 的行。这将为您提供所有类型、属性、数字和英文标签/描述，但不会排除那些没有至少一个英文标签的对象（您问题的另一种可能解释）。要进行这种级别的过滤，您可能需要比 grep 更强大的东西。

于 2014-09-18T17:22:08.270 回答