问题标签 [historical-db]

我已经看到了很多关于特别是 postgresql 的答案，比如：

在 PostgreSQL 中存储价值历史

设置 Cygnus-PostgreSQL 以实现历史数据持久性

http://clarkdave.net/2015/02/historical-records-with-postgresql-and-temporal-tables-and-sql-2011/

但我没有得到正确的方法。

简单地说，我使用这种格式将数据存储到表中。

每天我都必须更新一些列字段。但只更新我表中的数据存储，并删除过去的数据。在这种情况下，我想存储的每个更新数据，就好像我可以从历史记录中按日期查询今天或过去一天的任何单日数据一样。

我是 postgresql 的新手，这就是为什么我不明白如何在我的代码中编写该逻辑。任何帮助，将不胜感激。

谢谢。

你能解释一下如何在 ArangoDB 中处理历史数据吗？

例如，我有 5 个集合：

情况就是这样。2017年巴特学得很好。年底，他从“NotveryBest B班”转入新班“NotveryBest A班”。2018年，他学得更好，父母决定把他转到另一所学校，在那里他可以发挥自己的才能。他从“NotveryBestSchool”转到新学校“BestSchool”和“Best B Class”班。

假设：我是否理解正确，为了跟踪 Bart 在班级和学校之间的移动，我必须在边缘添加日期？此边缘中的主要字段应该是 StartDates 和 EndDates？或者也许我需要将他的动作存储在 Bart 的参数中？第三个选项 - 制作一个单独的集合“历史”并将所有内容存储在那里。

选择哪个选项？

我们正在评估 Azure 时序见解（预览版）以获取历史 IoT 遥测数据。我们使用设备时间戳而不是事件排队时间戳作为时间戳属性（非默认行为）

我们在摄取历史数据（> 2 年）方面遇到了障碍。TSI 静默丢弃这些消息。我们想了解提取旧数据的最佳实践是什么。

同样在查询方面，是基于 TSI 视图（过去 400 天）返回的结果还是我们可以查询所有现有的 parquet 文件（即通过事件中心摄取的所有数据，无论它可能有多旧）？

我们已经尝试摄取新数据，它出现在 TSI 仪表板上。但是，由于时间戳较旧，我们无法提取旧数据。这些消息被丢弃。

我们希望摄取保留设备时间戳的历史传感器数据。我们可以以事件排队时间戳为中心，但这会导致查询成为问题。通过时序见解寻找解决历史数据摄取和查询部分的建议。

我正在尝试创建一个查询，它将 UNION ALL 一组历史数据和一组具有不同列数的新数据。我希望它对所有匹配的列进行 UNION ALL 并在历史数据集中创建一个新列作为 NULL 如果新数据有一个新列。

这是我知道错误的当前代码：

是否可以创建临时表类型的功能来保留 SQL Server 2014 或更早版本中频繁更改的记录的历史记录。我需要跟踪表中的历史变化（例如，在给定零件编号和收到日期的情况下，零件 X 在库存表中 Z 期间的 Y 天缺货）

我正在处理 2 个 csv 文件。

在绩效文件中：我有关于贷款绩效的历史数据（即第 1 个月到第 7 个月的贷款 110 绩效，然后从第 1 个月到第 20 个月的贷款 111 绩效）。在第一个文件中，我有如下列：A = 贷款 ID，B = 绩效月份（1 到 7），C=默认金额。对于每个 loanid，每个月有 1 行的性能。

我正在尝试创建一个循环，该循环为我提供每笔贷款有默认值的第一个月，并将月份和默认金额复制到我的第二个 csv 文件中，该文件包含每个loanid 的描述性数据。这个想法是在第二个文件和每个loanid 上添加2列，以检索它们第一次具有默认值的月份。

我正在研究 jupyter notebook，到目前为止，我已经导入了 pandas 库并阅读了性能 csv 文件。

任何指导将不胜感激。

我有一些来自各种来源的历史数据，我想将它们编译成折线图。

这是我正在使用的示例 SQL 小提琴https://www.db-fiddle.com/f/oprEgt1gEz55tY5xumU6Jz/1

但是，我需要处理各种情况。在以下场景中，我总是有 3 个来源（A、B、C）。B 和 C 总是带来价值，但 A 是遇到问题的运行。

用户要求提供 1 月 1 日至 1 月 5 日的数据。

1. 源 A 无法带来 1 月 3 日的数据。我的折线图应该显示 1 月 1、2、4 和 5 日的值。它跳过了 3，因为源 A 没有值。
2. 由于缺少连接，来源 A 在 1 月 3 日之后没有提供任何更新。我的折线图应该显示 1 月 1 日和 2 日的值。没有 3、4 或 5，因为我们缺少来自源 A 的值。
3. 源 A 在 1 月 3 日之后关闭。我的折线图应该显示从 1 月 1 日到 5 日的所有值。即使源 A 关闭，我们仍然希望查看所有值。
4. 源 A 在 1 月 3 日之后作为新数据源出现。我的折线图应该显示 1 月 1 日至 5 日的所有值。
5. 来源 A 只能从 1 月 3 日起提供更新（即使他们应该在 1 月 1 日起给我们提供值）。我的折线图应该只显示 1 月 3 日至 5 日的值。

我正在尝试在 MySQL 中执行此操作。我使用 GROUP BY 和 HAVING 得到了一个简单的查询，但这不足以满足上述用例。我打算用这个或使用 PARTITION BY 编写 CTE，但再次陷入无法满足所有条件的困境。

我正在为我的一些模型创造历史记录。它可以工作，该表已创建并按预期运行，但是，我无法让它出现在我的管理表中。

模型.py

在 admin.py 我有一个 TestAdmin(admin.ModelAdmin) 例如：

当我使用 #1 行时，除了没有历史表之外，我的一切都运行良好。当我使用 #2 行时，我也没有得到它，我的格式也不再有效。当我设置两者时，我得到一个错误django.contrib.admin.sites.AlreadyRegistered: The model Test is already registered with 'test.TestAdmin'（这是有道理的）。

为了让历史记录表出现在我的管理员中，我缺少什么？

谢谢你的时间。

我们有一个 ETL 服务提供商，它每 3 小时从我们的 CRM 将数据加载到我们的 Redshift 实例中。我们希望深入了解每次同步或至少每周同步所做的更改。

我的第一直觉是每天触发一个 lambda，将整个表复制到一个存档中，

例如CREATE TABLE crm.leads_YYYY_MM_DD FROM (SELECT * FROM crm.leads)

并围绕表之间的字段级差异构建一些报告。我想知道是否有更智能的方法。这似乎很难从中创建历史记录，并且可能会不必要地存储大量未更改的数据。什么是更好的策略？

我正在尝试使用 Spring Data JPA 和 MySql 来实现这个简单的想法。我有桌子：

然后我想得到结果为User+Question+Answer. 标准的 Spring Data 查询很好，answersRepository.findAll(); 我得到了结果：

但是如果问题可以改变，如何实现这个逻辑呢？例如User1回答了这个Who are you?问题，并且在这个问题被更改为Who are u?并User2在第二个版本上回答之后。

我需要结果：

我尝试使用 Spring Data Envers (Hibernate Envers) 来实现这个逻辑，但我认为这不是发明审计的原因。那么我该怎么做呢？也许我需要使用事件溯源技术或其他东西？