问题标签 [data-comparison]

我会尽力解释我的问题。

我必须比较相同类型的数据，这些数据保存在 MySql 数据库中，但包含不同数量的值。

我像这样构建我的数据库（可能不是最好的）：

每次新数据到达时，都会创建一个配置文件，并在必要时创建一个新标记和一个新数量。

• 配置文件具有固定数量的标记（9、16、24）
• 对于每个配置文件，其每个标记都可以有 0、1 或 2 个数量

这意味着配置文件最多可以有 48 个值。我计划将来在数据库中至少有 20000 个配置文件。

我的目标：如果我选择一个配置文件，我必须找到所有其他配置文件，它们的 X 分数至少有 1 个共同值。（其中 X 是必须匹配的最小标记数）

目前，我将所有配置文件一一拿来与测试过的配置文件进行比较。这需要一些时间（我目前在数据库中只有大约 50 个配置文件），对于我的应用程序的未来来说，这不是一个好的解决方案。

我想的另一个解决方案是缓存（或保存在数据库中），每个 mark_amount 关联的所有配置文件 id ......但这似乎不是一个好主意:(

我需要一些建议来优化这个比较。（我对其他数据库、缓存系统比 php/mysql 等开放......）

EDIT1：配置文件匹配或不匹配的示例 8 标记

https://jsfiddle.net/gafy2w4k/

我在 Visual Studio Data Tools (2015) 中是否缺少允许您导出数据比较结果的功能？好像只能导出生成的 DML 脚本？谢谢！

我正在尝试了解 SSIS，对此几乎没有疑问。

我想比较 2 个表。1 个表在Sql Server，另一个在Oracle.

两个表都将具有相同的架构，如下所示：

这只是一些示例记录，因为我在源（1200 万）和目标（1200 万）中有 2400 万条随机顺序的记录。

任务joining id column from source and target：我正在尝试比较源数据和目标数据。因为源数据和目标数据之间始终存在 1 对 1 匹配，Amount column因此我知道Look up transformation在这种情况下会这样做。

但是，我有一些疑问：

1) 如果我从源和目标的查询中触发 select *，那么 2400 万条记录将保留在哪里？在记忆中？

2）在这种情况下我可以得到内存异常吗？

3）由于结果集（即）在源和目标中的顺序不同，查找将如何工作？它会加载所有源数据，然后通过不加载整个目标数据来匹配目标数据中的 1 条记录吗？

4) SSIS 如何处理源和目标的数百万数据比较？

任何人都可以帮我消除以上疑虑吗？

我想每天在某个时间查询 2 个或多个数据库，比较结果数据并显示网页中的不一致。

主要是数据将通过 PK 和使用某些列值进行的比较进行匹配。

因此，我正在阅读有关 Django、Node、Spring、Rails 等 Web 框架的信息，并想知道这是否是我想要的。如果一个 REST API 适合这个目的，或者它是完全不同的东西。

我的源文件为 CSV 格式/平面文件。我的目标表是 SQL Server 数据库。

我需要比较 Source 和 Target 并使用 JMeter 查看差异。

我正在使用 Visual Studio 2017。

功能 - 打开 Visual Studio - 转到工具 - 单击 SQL Server - 新数据比较

在提到源数据库和目标数据库并运行该工具后，我得到了结果 - （不同的记录，相同的记录）

有没有办法将此数据结果导出到 Excel？

我想找到一种将 DATA 与 liquibase 进行比较的方法。我试过这个liquibase.peroperties文件：

我用这个命令运行了 liquibase

它向我显示了所有差异，但没有显示数据的确切差异。结果说

但我知道数据有几个不同之处。有什么建议吗？

df1.csv

df2.csv

执行下面的代码后，

df1.merge(df2, on=['Customer_id'], indicator='Status', how='outer')

我明白了，

df3.csv

现在我想比较 Name_x 中的所有元素是否等于 Name_y，对于其他列也是如此。我正在做的是单独比较它。这是我的代码：

df3.assign(Status1=df3.Name_x == df3.Name_y)

df3.assign(Status2=df3.Age_x == df3.Age_y)

等等

完成上述操作后，我得到，

df4.csv

我可以写for循环，这样我就不必写代码了

df3.assign()

单独比较每两列？

最重要的是我的最终状态栏应该是这样的，

输出

我正在做的是想写如果 elif是这样的：

定义 f（行）：

如果一个人只想 在两列Status1 和 Status2上写if elif是可以的，如果一个人想在超过 2 个列上写if elif就会变得冗长。如果我也有Status3列，我可以用几行代码获得所需的输出吗？

我正在尝试比较两个 csv 文件（未排序），并希望获得类似 SAS Proc compare 的报告。我在比较之前使用 datacompy 并对数据框进行排序，但 datacompy 报告显示“没有共同的行”。

请让我知道我在下面的代码段中缺少什么。

我已经尝试过排序、重新索引，也没有使用 join_columns，我也尝试过 on_index=True。

预期结果是

数据1

姓名、年龄、地址

ABC,123,伦敦

EFG,456,MAA

数据2

姓名、年龄、地址

ABC,123,伦敦

EFG,457,MAA

并且报告应该像年龄列一样，最大差异为 1，所有其他都匹配得很好。

这个问题已经在Stack Overflow上被问过好几次了，但在将其标记为重复之前，请先看看我的问题。

我正在尝试比较两个数据库表的更改值。
基本上，我试图通过比较来记录更新的数据。

这些是我需要比较更改的数据库表：

在表 2、3Id和 4 中得到了更新的值。我需要获取这些值并将它们存储在第三个数据库表中。如果我为此获得一些通用类会好得多。

另外，如果有人添加更多内容并告诉我如何比较相同类型的 2 个列表的更改并仅返回具有更改值的该类型列表？

在这里，我要求更多，但如果有人可以帮助我。