问题标签 [staging-table]

我正在考虑在 SQL Server 中为我们的 SSIS 包之一创建临时表，以减少对 DB2 的调用次数，因为当 DB2 回收非活动连接时，对 DB2 的调用可能会超时。是否有将表模式从 DB2 复制到 SQL Server 的自动化方法？需要在 DB2 和 SQL Server 之间建立一对一的数据类型映射才能工作。如果不存在工具，我可能会自己编写一个，因为我们的一些 DB2 表有 20 多个列，并且在 SQL Server 中手动重新创建会很痛苦。

我正在构建一个 C# 控制台应用程序，它将在我们想要传输大量员工数据的场景中由 SQL Server 代理执行：

1. 在从一个 SQL Server 实例到第二个 SQL Server 实例的两个不同网络上具有相同架构的两个员工表之间。

2. 在同一个 SQL Server 实例上的两个员工表之间（没有网络延迟），一个表是临时表，另一个是仓库。

该过程是连续的，因此 ETL 作业必须首先传输 #1，然后是 #2。

考虑到进程#1 是网络间的并且进程#2 涉及在将新数据传输到目标表之前删除目标表，我想知道为了获得最佳性能而采用的最佳策略是什么。

这是我想做的事情：

过程#2：

我对 Ruby on Rails 很陌生，并且一直在使用 Michael Hartl 的 Ruby on Rails 教程来学习它。

我现在正在开发自己的项目，该项目允许用户登录网站，提供个人生物特征信息并上传他们选择的 csv 文件（锻炼数据）以使用锻炼信息填充数据库。

我向其他更有经验的朋友寻求帮助，他们的建议是创建一个临时表并使用该临时表填充其他表（我目前有八个不同的表用于锻炼测量）。

我对在线暂存表的使用进行了大量研究，但找不到关于如何有效使用暂存表将 csv 文件导入多个模型的可靠答案。

根据我对暂存表的理解，每次我（用户）完成将 csv 文件上传并导入数据库时​​，我都应该重置暂存表，但在网上找不到任何关于这是否正确的做法。

这是使用临时表的正确方法吗？我能想到的唯一其他选择是在每次用户上传文件时创建和删除临时表，但这似乎成本太高而无法正确。

谢谢！

我正在开发一个基于 Struts 作为服务器端 Java 技术的应用程序，并且 Sybase ASE 15 用作存储应用程序数据的数据库。现在 Sybase 中的表已经填充了大量数据，因此上级管理层希望将几年前（比如 3 年）的数据归档并从数据库表中删除，但归档的数据应该能够在需要时恢复。

我们还应该能够自动识别表之间的依赖关系，然后决定必须归档数据的表的顺序。

我们还需要将表格格式与数据一起存储，因此数据检索过程很容易。

我是一个 JAVA 人，对从数据库中归档数据一无所知。此外，我主要与 Oracle 合作，并且对 Sybase 非常陌生。

请告诉我是否有任何工具/程序可用于存档 Sybase 数据库中的数据。关于这个问题的任何帮助/指导/指针都会非常有帮助。

我读到了通过对数据库中的数据进行分区来实现这一点。当前数据库已经以循环分区方法进行分区。是否可以在已经分区的数据库上实现基于时间戳的数据库分区。此外，所有表都不包含时间戳列。

我还读到，如果无法进行分区，也可以通过创建视图来实现数据归档。我想知道这个选项是否可行，如果可以，如何实现？

临时表是否仅在数据仓库项目或任何SSIS项目中使用？我想知道什么是临时表？谁能给我一些关于如何使用它以及在什么情况下实施它的例子？另外，我可以请我知道使用它时的最佳做法吗？

我目前拥有 Hadoop-2、PIG、HIVE 和 HBASE。我有一个输入数据。我已经在 HDFS 中加载了该数据。我想在这个环境中创建暂存数据。

我的查询是 -

在哪个 BigData 组件中，我应该创建 Staging Table(Pig/HIVE/HBASE) ；这将根据条件输入数据？稍后，我们可能希望在其上运行具有复杂逻辑的 MapReduce 作业。

请协助

我正在使用 SQL Server 2012 标准版设置从平面文件导入数据的 SSIS 包后，我想知道如何将数据插入临时表以及临时表的结构是什么？

在 SQL Server 2016 中，我有一个包含 8 列的临时表 [S]。我想将该数据复制到 3 个表 [A]、[B] 和 [C]。[A] 对 [B] 有 FK，而 [B] 对 [C] 有 FK。第 1-2 列到 [c]，第 3 列到 [a]，第 4-8 列到 [B]。

谁能告诉我我该怎么做？效率不是最重要的，因为只有 5.5Krows。

非常感谢任何帮助。

编辑：

应该更清楚：

• 表 a、b 和 c 存在并且有 PK 和 FK。
• c 对 col1 和 col2 的连接有唯一的约束。
• a、b 和 c 使用 IDENTITY PK
• 要导入的数据已清除重复项。

我正在建立一个 DW。来源来自返回 Json 的 rest API。我需要设计一个集结区。我想我有两种方法： 1. 将 Json 转换为关系模型。2.使用键值将Json存储到关系表中。关键是我将用来执行连接的字段。该值将是 Json。

第一个是按书本方法，但我认为它更难维护。第二个更容易维护，但复杂的查询很复杂。

每种解决方案有哪些缺点？意见被接受。

我有以下查询：

我不想插入重复的值，而且我的表中没有键。我的问题是：这个查询需要很多时间来插入新值。我正在尝试插入 1000000 行。

我有哪些选择？

非常感谢！