0

我正在尝试开发一个系统，在该系统中，我将通过提供的 API 将我的数据库与 3-Party 数据库同步。API 有格式，我们可以提供 From-Date 和 To-Date

问题

  1. 没有 API 只能给我修改过的记录。
  2. 数据太大（平均每天 1000 条记录）
  3. 需要一个调度程序，以便自动更新所有记录
  4. 我还需要跟踪修改的记录（这是最大的问题，因为我无法在修改日期之前获得它们）

注意：根据之前的要求，我已经开发了系统，我可以在其中指定更新记录的开始日期和结束日期（它通过 GUI 完成，没有使用 ajax）。即使我请求 1 天的记录，系统也会出现超时错误。

注意2：我真的不应该说，但是客户太严格了（愚蠢）；（他只需要解决方案，其他什么都做不了

4

2 回答 2

1

假设数据不需要是“新鲜的”，您是否可以不编写一个每小时/每晚运行的进程来获取该天的数据并将其处理到您的数据库中？

显然，这只有在您确定以前的记录没有更新时才有效？

API是否提供批次？

您为什么选择使用 Ajax 的 Web 客户端来处理这些数据？Windows / 控制台应用程序会更适合吗？

于 2012-10-15T16:01:01.363 回答
1

如果数据太大而无法通过任何给定查询检索，您只需要通过 ID 进行检索。找出一个合适的大小（100 条记录？250 条？），然后按该大小的组旋转系统中的每条记录。

你没有说你是拉下数据，推高数据，还是两者兼而有之。如果你只是把它拉下来，那是你能做的最好的事情，随着更多记录的添加，它会变得越来越慢。如果您只是推送它，那么您可以跟踪“推送日期”。如果两者都是，你如何解决冲突？

于 2012-10-15T16:32:16.190 回答