问题标签 [postgres-fdw]

我正在进行批量数据处理，为了速度，我首先将数据存储在 redis 中，然后每隔 2 分钟将其转储到 postgresql 数据库中。我使用 redis 散列来存储数据，甚至 redis 中的散列键对应于数据库表中的列。

我redis.scan()用来获取存储数据行的redis哈希列表，然后redis.hgetall()用来获取哈希中的数据。从那里我在 SqlAlchemy 中创建一个 SQL Insert 语句，并将批量数据插入到数据库中。

我面临的问题是我必须首先使用 SCAN 提取包含我的数据的密钥：

从那里我获取每个哈希中的所有数据：

row_data 的形式是，key:value但它以形式存储，byte因此会产生额外的开销来手动解码每个键和值：

我觉得这太过分了，必须有一种更优雅的方式来：

1. 使用 hgetall() 从 redis 获取数据并能够立即将该数据用于批量 SQL 插入，因为 redis 哈希中的键对应于 postgresql 表中的列名
2. 即使 1 是不可能的，至少必须有一种更快的方法来使用 hgetall() 从 redis 获取数据，并对整个条目进行一些即时解码，即哈希中的所有条目，而不是迭代每个键和值

编辑：

我已经阅读了关于 postgresql 的 Foreign Data Wrappers 尤其是redis_fdw的信息，我想知道它是否可以解决我的问题，即以尽可能少的麻烦更快地将数据从 Redis 移动到 Postgresql

我有一个名为 quasar.dockerfile 的 docker 文件。我构建了 docker 文件并成功加载了所有内容。

然后我尝试运行 docker，我收到这个错误，说我无法访问 jarfile。

这个过程怎么会一直被杀死？似乎它与无法运行 jarfile 但构建需要访问该文件并成功发生有关。这是链接问题吗？

我正在尝试了解 PostgreSQL 的 FDW 和 ODBC 驱动程序。

据我了解，FDW 只是让其他数据源看起来像 Postgres 表，本质上是 PostgreSQL 和外部数据源之间的桥梁。因此，您将编写自己的 FDW 来创建外部表并将外部表指向外部数据源（数据库）。

因此，如果您有一个没有表模式的 NoSQL DB，那么您是否必须使用 FDW 将数据展平为表格格式？

这与 ODBC 驱动程序所做的有什么不同？

当我在外部表上完成流连接与将连续视图加入到外部表时，我得到不同的结果。我期望相同的两个查询似乎不同。我的本地管道实例和 fdw 中的表之间的延迟对我的连续流连接有影响吗？我正在尝试根据外部表格的 id 聚合 rx_bytes 和 tx_bytes。

我正在使用最新的 mysql_fdw

https://github.com/EnterpriseDB/mysql_fdw

1. 创建外部表

   /li>

2. 插入 10 次后，我希望这两个查询产生相同的结果：

一个）

b)

显然结果是不一样的。我可以从连续视图到外部表进行连接，但更喜欢使用流连接。

I tried both JDBC FDWs (jdbc (atris) and jdbc2 (heimir sverrisson)) mentioned on the FDW wiki page and following the source install instructions, but always get this error:

Running Ubuntu 14.04.3 LTS:

the Makefile.global can be found in the /usr/lib folder:

I adjusted the Makefile regarding the relative path inside to point there, but then the second error remains and contrib-global.mk can't be located :-/

I'll continue to try the MySQL FDW, but since we already use a buggy Oracle FDW it would have been nice to stick to some generic JDBC driver.

当我这样做时，import foreign schema constructor from server mysql_svr into mysql_fdw;我得到：

源表是：

我可以让 IMPORT FOREIGN SCHEMA 生成的 SQL 进行所有修复并手动运行它吗？

我正在尝试使用 PostgreSQL Maestro 工具将来自“本地”数据库的外键引用到另一个数据库中的另一个主键（实际上，它们都在同一台远程机器上）。我听说过 postgres_fdw 模块可以创建一个外部表，该表的作用类似于远程数据库中的表的副本，但是当我尝试执行查询时出现此错误：

“SQL 错误：错误：引用的关系“foreign_olo”不是表”。

这是我的 sql 代码：

foreign_olo 是我用 postgres_fdw 创建的外表。我试图在 foreign_olo 表上提交一个 INSERT 或一个简单的 SELECT ，一切顺利，所以我不明白为什么对于外键情况它不能被识别为一个表。谢谢大家帮我一把！

我正在使用 postgres_fdw 在两个数据库之间创建链接。然后我设置外部表并从外部表插入到我的实时表中。我注意到这需要相当长的时间，因为它们没有索引。

您可以在外部表上创建索引吗，它是标准的吗

根据DOC我不能这样做。但完全重新创建表迫使我做大量的工作而不是简单的：

我正在积极地在 windows 和 Linux 下使用 fdw。

如果 windows 下的主（和读/写）连接关闭，则在 windows 下打开的 fdw 连接会立即关闭。

但在 Linux 下，在伙伴上打开的 fdw 连接保持活动并打开，即使启动连接已关闭。

例如服务器 1 (Windows) 服务器 2 (Linux)

服务器 1 连接到他自己的本地数据库。在此连接中，他写入/读取一个表，该表是服务器 2 上的一个表，并由 fdw 在本地表示。在服务器 2 上，可以看到与服务器 1 的 postgres_fdw 连接。如果服务器 1 关闭了到他的本地数据库的连接，我可以看到服务器 2 上的 postgres_fdw 连接已经关闭，这是完美的。

反过来，如果我从 Linux 执行此操作，如果服务器 2 上的本地连接关闭，则服务器 1 上的 postgres_fdw 连接仍然存在事件。

有没有可能配置这个？