好的,这是场景。我有一个实用程序可以处理大量记录,并相应地将信息输入数据库。
它以多线程批处理的形式处理这些记录。每个这样的批次都写入同一个日志文件,以便为每个记录创建工作流跟踪。潜在地,我们可以在一天内进行接近一百万次的日志写入。
是否应该将此日志写入驻留在另一台服务器上的数据库中?注意事项:
- 多个线程写入同一个日志文件的明显缺点是日志消息相互打乱。在数据库中,它们可以按批次 id 分组。
- 性能——这会进一步减慢批处理的速度?写入本地文件或将日志数据发送到同一网络上另一台服务器上的数据库。从理论上讲,日志文件更快,但这里有问题吗?
两种方法都可以进行优化吗?
谢谢。