2

我有一个从一堆文档中提取的 unigrams（单个单词）、bigrams（两个单词）和 trigrams（三个单词）的列表。我的目标是静态分析报告以及可以在这些文档上使用的搜索。

John Doe
Xeon 5668x
corporate tax rates
beach
tax plan
Porta San Giovanni

ngram 按日期和文档标记。例如，我可以找到二元组之间的关系以及它们的短语首次出现的时间以及文档之间的关系。我还可以搜索包含这些 X 个 un/bi/trigram 短语的文档。

所以我的问题是如何存储它们以优化这些搜索。

最简单的方法是为每个短语创建一个简单的字符串列，然后每次在文档中找到该单词/短语时，我都会将关系添加到 document_ngram 表中。

table document
{
    id
    text
    date
}

table ngram
{
    id
    ngram varchar(200);
}

table document_ngram
{
    id
    ngram_id
    document_id
    date
}

但是，这意味着如果我想通过三元组搜索单个单词，我必须使用字符串搜索。例如，假设我想要所有带有“夏天”这个词的三元组。

因此，如果我改为拆分单词以便存储在 ngram 中的唯一内容是单个单词，然后添加三列以便所有 1、2 和 3 单词链都可以放入其中document_ngram？

table document_ngram
{
    id
    word1_id NOT NULL
    word2_id DEFAULT NULL
    word3_id DEFAULT NULL
    document_id
    date
}

这是正确的方法吗？他们有更好的方法吗？我目前正在使用 PostgreSQL 和 MySQL，但我相信这是一个通用的 SQL 问题。

4

2 回答 2

11

这就是我为您的数据建模的方式（请注意，“the”被引用了两次）您还可以为单个单词添加权重。

DROP SCHEMA ngram CASCADE;
CREATE SCHEMA ngram;

SET search_path='ngram';

CREATE table word
    ( word_id INTEGER PRIMARY KEY 
    , the_word varchar
    , constraint word_the_word UNIQUE (the_word)
    );  
CREATE table ngram
    ( ngram_id INTEGER  PRIMARY KEY 
    , n INTEGER NOT NULL -- arity
    , weight REAL -- payload
    );  

CREATE TABLE ngram_word
    ( ngram_id INTEGER NOT NULL REFERENCES ngram(ngram_id)
    , seq INTEGER NOT NULL
    , word_id INTEGER NOT NULL REFERENCES word(word_id)
    , PRIMARY KEY (ngram_id,seq)
    );  

INSERT INTO word(word_id,the_word) VALUES
(1, 'the') ,(2, 'man') ,(3, 'who') ,(4, 'sold') ,(5, 'world' );

INSERT INTO ngram(ngram_id, n, weight) VALUES
(101, 6, 1.0);

INSERT INTO ngram_word(ngram_id,seq,word_id) VALUES
( 101, 1, 1)
, ( 101, 2, 2)
, ( 101, 3, 3)
, ( 101, 4, 4)
, ( 101, 5, 1)
, ( 101, 6, 5)
    ;   

SELECT w.*
FROM ngram_word nw
JOIN word w ON w.word_id = nw.word_id
WHERE ngram_id = 101
ORDER BY seq;

结果：

 word_id | the_word 
---------+----------
       1 | the
       2 | man
       3 | who
       4 | sold
       1 | the
       5 | world
(6 rows)

现在，假设您想在现有（6 克）数据中添加一个 4 克：

INSERT INTO word(word_id,the_word) VALUES
(6, 'is') ,(7, 'lost') ;

INSERT INTO ngram(ngram_id, n, weight) VALUES
(102, 4, 0.1);

INSERT INTO ngram_word(ngram_id,seq,word_id) VALUES
( 102, 1, 1)
, ( 102, 2, 2)
, ( 102, 3, 6)
, ( 102, 4, 7)
    ;   

SELECT w.*
FROM ngram_word nw
JOIN word w ON w.word_id = nw.word_id
WHERE ngram_id = 102
ORDER BY seq;

附加结果：

INSERT 0 2
INSERT 0 1
INSERT 0 4
 word_id | the_word 
---------+----------
       1 | the
       2 | man
       6 | is
       7 | lost
(4 rows)

顺便说一句：向这个模型添加一个文档类型对象将向这个模型添加两个额外的表：一个用于文档，一个用于 document*ngram。（或以另一种方法：对于文档*单词）递归模型也是一种可能性。

更新：上述模型将需要一个额外的约束，这将需要实现触发器（或规则+一个额外的表）。伪代码：

 ngram_word.seq >0 AND ngram_word.seq <= (select ngram.n FROM ngram ng WHERE ng.ngram_id = ngram_word.ngram_id)
于 2012-06-09T18:31:10.190 回答
0

一个想法是稍微修改您的原始表格布局。考虑 ngram varchar(200) 列仅包含 ngram 的 1 个单词，添加 word_no (1、2 或 3) 列，并添加分组列，例如，两个单词的两条记录在二元组中是相关的（给他们相同的 word_group）。[在 Oracle 中，我会从 a 中提取 word_group 数字Sequence——我认为 PostGres 会有类似的东西）

table document
{
    id
    text
    date
}

table ngram
{
    id
    word_group
    word_no
    ngram varchar(200);
}

table document_ngram
{
    id
    ngram_id
    document_id
    date
}
于 2012-06-09T18:32:09.950 回答