我们有一个使用 SQL Server 的应用程序，需要定期使用源系统的数据进行刷新。源系统中有数百万条记录，我们每 30 分钟刷新一次。我们目前正在使用 openquery 和游标来导入数据并保持新鲜。但是，这种方法似乎很耗时，而且不是很可靠。
有谁知道我们可以使用的任何其他选项？
此外，对于某些源表，还有上次修改日期时间等钩子......我们可以使用这些钩子来获取自上次修改后的较小数据块。但这也不是很可靠，因为该字段似乎并非每次都更新，而且并非所有表都如此。所以，像这样处理那些没有钩子的人真的很痛苦。
你认为我们可以使用像 Hadoop、MapReduce 等大数据解决方案吗？我对这些的印象是，它们在存储和获取遗留数据和/或获取更大的数据时很有用，比如在处理文件时。不确定它们如何在导入表数据时发挥作用。
非常感谢任何建议。