谷歌显示的结果是基于大量数据,我猜这些数据是建立在“搜索 Y 的 X 还搜索了什么”、“搜索 Y 的与 X 相似的其他人搜索了什么”等基础之上的。此外,也许对来自 Freebase 的语义信息有一定的依赖。
为了了解谷歌在他们的信息框中显示什么样的属性,即为什么当我们搜索法国时,我们会得到一张带有地图、国旗、首都、人口......等的卡片。在与法国相关的数百个属性中,我创建了一个“知识库提取器”能够解析 Google 信息框并使用菲涅耳词汇表将数据公开为 RDF。
实现的算法如下:
- 查询所有概念(类型)的 DBpedia,其中至少有一个实例具有指向 Freebase ID 的链接
- 对于这些概念中的每一个,随机选择 (n) 个实例
- 对于每个实例,发出一个 Google 搜索查询:
- 如果信息框可用 -> 废弃信息框以提取属性
- 如果没有可用的 infoxbox,请检查 Google 是否建议“您的意思是……?” 如果是这样,遍历链接并寻找一个信息框
- 如果没有可用的信息框或更正,请消除搜索查询中使用的概念(类型)的歧义,并检查是否返回了信息框
- 如果 Google 建议在信息框中消歧,请解析其中的所有链接 -> 最好找到哪些建议映射到我们正在使用的当前数据类型 -> 检查 Freebase - DBpedia 映射
- 每个概念的聚类属性
我还捕获了“搜索的人”部分,但您可能还想对其进行更多调整。
另请注意,您可能需要检查信息框的 CSS 选择器,因为 Google 经常更改它们(可能是自动生成的)。这是在options.json
"knowledgeBox" : "#kno-result",
"knowledgeBox_disambiguate" : ".kp-blk",
"property" : "._Nl",
"property_value" : ".kno-fv",
"label" : ".kno-ecr-pt",
"description" : ".kno-rdesc",
"type" : "._kx",
"images" : ".bicc",
"special_property" : ".kno-sh",
"special_property_value" : "._Zh",
"special_property_value_link" : "a._dt"