我正在尝试为我正在制作原型的工具锻炼一个简单的架构。基于 Web 的工具（基于 .NET）基本上会从多个公共 API 请求数据，整理和处理响应数据（JSON 或 XML）并将聚合数据保存在数据库中。这听起来很简单，但该工具需要每天至少为大约 3000 个用户运行这个过程（请求/处理/存储）一次。作为计划任务（cron 作业）定期运行该进程将显着降低性能并增加服务器（单个 VPS）上的资源使用率。
所以问题是，什么样的架构或框架可以用来使这样的工具快速、可扩展、简单且易于实现。
任何想法和想法都会受到赞赏。
干杯。
如果您在 cron 运行期间遇到资源消耗达到峰值的问题，那么不要让 cron 连续运行您的程序。破解程序使其可以连续运行的细节取决于细节。例如，假设您有 3000 个用户；一种简单的方法是每 28 秒处理一个用户。
快 - 你没有提到你的程序到底是什么慢，你使用了什么算法等等。你的问题听起来像你遇到了峰值负载的问题。很多时候，快速程序会导致资源使用高峰。对我来说，听起来你会做得很好（故意）让你的程序变慢。AND 慢并不意味着您设计程序的效率低下。
可扩展性 - 如果我们假设您的基本算法很好，那么一种实现可扩展性的方法是添加更多机器！！