我希望使用 WordNet 从一组基本术语中查找类似术语的集合。
例如,单词'discouraged' - 潜在的同义词可能是:daunted, glum, deterred, pessimistic
.
我还想识别潜在的二元语法,例如;beat down, put off, caved in
等等
如何使用 Java 或 Python 提取这些信息?是否有任何托管的 WordNet 数据库/Web 界面允许此类查询?
谢谢!
我希望使用 WordNet 从一组基本术语中查找类似术语的集合。
例如,单词'discouraged' - 潜在的同义词可能是:daunted, glum, deterred, pessimistic
.
我还想识别潜在的二元语法,例如;beat down, put off, caved in
等等
如何使用 Java 或 Python 提取这些信息?是否有任何托管的 WordNet 数据库/Web 界面允许此类查询?
谢谢!
这是两个不同的问题。
1) Wordnet 和 python。使用 NLTK,它有一个很好的 wordnet 接口。你可以自己写一些东西,但老实说,为什么要让生活变得困难呢?Lingpipe 可能也有一些内置的东西,但 NLTK 更容易使用。我认为 nltk 只是下载一个 ntlk 数据库,但我很确定有 api 可以与 wordnet 对话。
2) 要在 nltk 中获得二元组,请遵循本教程。通常,您对文本进行标记,然后通过向前和向后查看来遍历句子,以获得每个单词的所有 n-gram。
通过查看 Prolog 文件最容易理解 WordNet 数据。它们记录在这里:
http://wordnet.princeton.edu/wordnet/man/prologdb.5WN.html
WordNet 术语被分组为同义词集。同义词集是最大同义词集。Synsets 有一个主键,因此它们可以用于语义关系。
所以回答你的第一个问题,你可以列出一个词的不同意义和对应的同义词如下:
Input X: Term
Output Y: Sense
Output L: Synonyms in this Sense
s_helper(X,Y) :- s(X,_,Y,_,_,_).
?- setof(H,(s_helper(Y,X),s_helper(Y,H)),L).
例子:
?- setof(H,(s_helper(Y,'discouraged'),s_helper(Y,H),L).
Y = 301664880,
L = [demoralised, demoralized, discouraged, disheartened] ;
Y = 301992418,
L = [discouraged] ;
No
对于您问题的第二部分,WordNet 术语是单词序列。因此,您可以按如下方式在 WordNet 术语中搜索单词:
Input X: Word
Output Y: Term
s_helper(X) :- s(_,_,X,_,_,_).
word_in_term(X,Y) :- atom_concat(X,' ',H), sub_atom(Y,0,_,_,H).
word_in_term(X,Y) :- atom_concat(' ',X,H), atom_concat(H,' ',J), sub_atom(Y,_,_,_,J).
word_in_term(X,Y) :- atom_concat(' ',X,H), sub_atom(Y,_,_,0,H).
?- s_helper(Y), word_in_term(X,Y).
例子:
?- s_helper(X), word_in_term('beat',X).
X = 'beat generation' ;
X = 'beat in' ;
X = 'beat about' ;
X = 'beat around the bush' ;
X = 'beat out' ;
X = 'beat up' ;
X = 'beat up' ;
X = 'beat back' ;
X = 'beat out' ;
X = 'beat down' ;
X = 'beat a retreat' ;
X = 'beat down' ;
X = 'beat down' ;
No
这会给你潜在的 n-gram,但没有太多的形态变化。WordNet 也确实展示了一些词汇关系,这可能很有用。
但是我给出的两个 Prolog 查询都不是很有效。问题是缺少一些词索引。Java 实现当然可以实现更好的东西。想象一下:
class Synset {
static Hashtable<Integer,Synset> synset_access;
static Hashtable<String,Vector<Synset>> term_access;
}
一些 Prolog 可以做同样的事情,通过索引指令,可以指示 Prolog 系统对谓词的多个参数进行索引。
使用 Java 或 Prolog 构建 Web 服务应该不会那么困难。许多 Prologs 系统很容易允许将 Prolog 程序嵌入 Web 服务器和 Java 冠军 servlet。
可以在此处找到支持 Web 服务器的 Prolog 列表:
此致
作为 NLTK 的替代方法,您可以使用可用的 WordNet SPARQL 端点之一来检索此类信息。查询示例:
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
PREFIX wordnet: <http://www.w3.org/2006/03/wn/wn20/schema/>
SELECT DISTINCT ?label {
?input_word a wordnet:WordSense;
rdfs:label ?input_label.
FILTER (?input_label = 'run')
?synset wordnet:containsWordSense ?input_word.
?synset wordnet:containsWordSense ?synonym.
?synonym rdfs:label ?label.
} LIMIT 100