问题标签 [wal]

为什么我们在 hbase 中会收到损坏的 WAL 异常。找不到任何确定的东西

在此处输入图像描述

我已连接我的设备并访问我的应用程序数据/data/data/my.package.name/databases。

在这里我可以看到文件：

据我所知，这些文件特定于 android 系统本身，但它们代表 SQLite 数据库，但它们不能安装到 SQLite 阅读器？

当数据被下载并存储到数据库时，我遇到了这个问题，一段时间后data-wal开始变得非常大（可能从 12MB 到 7GB）并且在同步完成后它又变得几乎是空的。我是否正确地说这可能是事务的问题（某处事务没有关闭并且总是打开，因此data-wal在回滚的情况下填充了备份数据）？

我在 postgres 配置文件中启用了 WAL 归档。当我重新启动 Postgres 服务时，WAL 恢复不起作用。日志中没有 wal 恢复条目。

我遵循的步骤：

删除了我数据库中的两行数据并停止了postgres服务

提取 Basebackup

使用以下内容创建了 recovery.conf 并重新启动了 postgres 服务

日志中没有 wal 恢复条目，我删除的两行没有恢复。

我的 SQLite WAL 文件有时会变得非常大，我认为该文件保留了它的大小并且只是根据需要开始覆盖，它是否只是重置它的大小？

我知道 pragma wal_checkpoint(TRUNCATE) 命令可以手动设置一个检查点，该检查点会将文件大小缩减为零，但我注意到了一些问题。

我启动编写器，它会创建一个新数据库并开始将数据写入其中。在这个程序的开始，我发出 wal_checkpoint 命令（显然是第一次运行，因为数据库中没有任何东西，它什么也不做）。读者根本不会被打扰。当我关闭写入器并重新启动它（它重新连接并继续使用现有数据库）时，它会按预期清除 wal 文件，但现在（直到我删除数据库并重新开始）当读取器从数据库读取时，写入器获取 SQLITE_BUSY 异常 - 通常并非总是如此。

所以我想知道如果我不调用 wal_checkpoint，WAL 会在某个时候截断自己吗？如果有人可以回答：为什么在调用它之后的任何后续运行中都会导致我的 SQLITE_BUSY 异常？有比 wal_checkpoint(Truncate) 更好的方法吗？

我正在使用pgx库在 Go 中使用 Postgres 逻辑复制，以通过使用 wal2json 作为输出插件的逻辑复制槽获取数据库更改。正在使用的 Postgres 版本是v10.1.

在WaitForReplicationMessage循环中，我收到一条消息，如果该消息是 a ServerHeartbeat，我发送一条备用状态消息以更新我在 WAL 中消费位置的服务器。此StandbyStatus消息有一个字段，称为ReplyRequestedwhich，如果等于，则1告诉服务器发送一个ServerHeartbeat; 如果价值是0它不应该做任何事情。

现在我正在发送一条StandbyStatus消息，其ReplyRequested值为 to 0（这是创建对象时的默认值）。在发送此消息时，服务器会发送心跳消息，尽管我告诉它不要这样做。我无法看到这个问题的原因。

这是我的代码：

上面的sendStandbyStatus函数是：

我希望能够跟踪过去一个月对数据库 (PostgreSQL) 所做的更改。我知道两种选择：

• 数据库触发器
• 预写日志的更改数据捕获

但是有没有办法直接从数据库本身查询预写日志呢？即类似的东西

我尝试使用 pg_basebackup 和 WAL 日志在 postgresql 中配置备份数据库。现在我每周创建一次完整备份，也想备份 wal 日志。但是，据我了解，posgresql 一直在编写它们。那么，我怎样才能复制它们并确保它们没有损坏呢？谢谢

我对日志结构化合并树（LSM 树）的理解是，它利用了附加到磁盘非常快的事实（因为它不需要搜索），只需将更新附加到预写日志并返回到客户端。我的理解是，这仍然提供了即时的持久性，同时仍然非常快。

我认为不使用 LSM 树的 Redis 似乎有一种模式，您可以在每次写入时进行 AOF+fsync。https://redis.io/topics/latency。文档说：

我很困惑为什么这会很慢，因为原则上您仍然只是在每次更新时附加到一个文件，就像 Cassandra 等 LSM-tree 数据库正在做的那样。

我在 RDS 中使用 postgres 9.5.7，并希望在 EC2 机器上创建从属/只读副本。我已经弄清楚如何让逻辑复制在 RDS 上工作，并且能够用来pg_recvlogical接入 EC2 盒子上的复制槽。

我现在面临的挑战是，不幸的是，RDS 不支持pglogical，而且我似乎只剩下两种test_decoding或一种wal2json输出格式。有没有什么东西知道如何采用其中任何一种格式并将它们转换为可以在从属设备上执行的 SQL？

我在网上找到的大多数指南都只是开始pg_recvlogical工作，并没有采取额外的最后一步来展示如何将这些更改实际导入从数据库。

我想知道在使用 JAVA API 将新数据插入 hbase 表时，是否有任何方法可以禁用 WAL（预写日志）操作？

谢谢你的帮助 ：）