1

我想为以下用例在文本列上创建一个索引。我们有一个带有文本类型Segment列的表。content我们使用 pg_trgm 执行基于相似性的查询。这在翻译编辑器中用于查找相似的字符串。以下是表格详情：

CREATE TABLE public.segments
(
  id integer NOT NULL DEFAULT nextval('segments_id_seq'::regclass),
  language_id integer NOT NULL,
  content text NOT NULL,
  created_at timestamp without time zone NOT NULL,
  updated_at timestamp without time zone NOT NULL,
  CONSTRAINT segments_pkey PRIMARY KEY (id),
  CONSTRAINT segments_language_id_fkey FOREIGN KEY (language_id)
      REFERENCES public.languages (id) MATCH SIMPLE
      ON UPDATE NO ACTION ON DELETE CASCADE,
  CONSTRAINT segments_content_language_id_key UNIQUE (content, language_id)
)

这是查询（Ruby + Hanami）：

def find_by_segment_match(source_text_for_lookup, source_lang, sim_score)
    aggregate(:translation_records)
      .where(language_id: source_lang)
      .where { similarity(:content, source_text_for_lookup) > sim_score/100.00 }
      .select_append { float::similarity(:content, source_text_for_lookup).as(:similarity) }
      .order { similarity(:content, source_text_for_lookup).desc }
end

- -编辑 - -

这是查询：

SELECT "id", "language_id", "content", "created_at", "updated_at", SIMILARITY("content", 'This will not work.') AS "similarity" FROM "segments" WHERE (("language_id" = 2) AND (similarity("content", 'This will not work.') > 0.45)) ORDER BY SIMILARITY("content", 'This will not work.') DESC

SELECT "translation_records"."id", "translation_records"."source_segment_id", "translation_records"."target_segment_id", "translation_records"."domain_id",
"translation_records"."style_id",
"translation_records"."created_by", "translation_records"."updated_by", "translation_records"."project_name", "translation_records"."created_at", "translation_records"."updated_at", "translation_records"."language_combination", "translation_records"."uid",
"translation_records"."import_comment" FROM "translation_records" INNER JOIN "segments" ON ("segments"."id" = "translation_records"."source_segment_id") WHERE ("translation_records"."source_segment_id" IN (27548)) ORDER BY "translation_records"."id"

---结束编辑---

---编辑1---

重新索引呢？最初，我们将导入大约 200 万条旧记录。如果有的话，我们应该何时以及多久重建一次索引？

---结束编辑1---

像 CREATE INDEX ON Segment USING gist (content) 这样的东西可以吗？我真的找不到哪个可用索引最适合我们的用例。

最好的，塞巴

4

2 回答 2

1

您显示的第二个查询似乎与此问题无关。

您的第一个查询不能使用三元组索引，因为查询必须以运算符形式而不是函数形式编写才能做到这一点。

在运算符形式中，它看起来像这样：

SELECT "id", "language_id", "content", "created_at", "updated_at", SIMILARITY("content", 'This will not work.') AS "similarity" 
FROM segments 
WHERE language_id = 2 AND content % 'This will not work.'
ORDER BY content <-> 'This will not work.';

为了%等效于similarity("content", 'This will not work.') > 0.45，您首先需要执行set pg_trgm.similarity_threshold TO 0.45;.

现在你如何让 ruby​​/hanami 生成这个表单，我不知道。

% 运算符可以由 gin_trgm_ops 索引或 gist_index_ops 索引支持。<-> 只能由 gist_trgm_ops 支持。但很难预测这种支持的效率会有多高。如果您的“内容”列很长或者您要比较的文本很长，那么它不太可能非常有效，尤其是在 gist 的情况下。

理想情况下，您会按 language_id 对表进行分区。如果没有，那么构建一个包含两列的多列索引可能会有所帮助。

于 2021-12-10T21:53:46.607 回答
0 
CREATE INDEX segment_language_id_idx ON segment USING btree (language_id);
CREATE INDEX segment_content_gin ON segment USING gin (content gin_trgm_ops);
于 2021-12-09T22:48:01.183 回答