postgresql - 从 csv 过滤每一行导入到 postgreSQL

Question

我有以下问题（即使是彻底的研究也无济于事）：

我想将数据从（相当大的）CSV/TXT文件导入到 中postgreSQL DB，但我想根据特定条件过滤每一行（在导入之前）。

我可以使用什么命令/解决方案？

旁注：如果我不是从文件中读取，而是从数据流中读取，那么相关的命令/程序是什么？

提前谢谢大家，如果这是我错过的一些答案/文档，我很抱歉！

佩特罗斯

Answer 1

为了解释暂存表方法，这是我自己使用的：

1. 创建与您的 csv 结构匹配的表（可能是临时表）

2. 导入该表，不进行过滤

3. 使用 SQL 过滤和处理您的数据并将其导入到真实表中。

现在，在 PostgreSQL 中，您还可以使用 file_fdw 让您直接 sql 访问 csv 文件。一般来说，暂存表解决方案通常会更干净，但您可以通过让 PostgreSQL 将文件视为表并通过外部数据包装器来做到这一点。