我有一个应用程序,在解析后将记录插入表中。每天有 +- 3000 万条记录,我通常会在一天结束时发送一份每日总计的报告。现在,我需要每隔几分钟或几秒钟创建一次日志文件,以便我们可以将插入到实时 syslog 类型的 feed 应用程序中的新记录的计数提供给该应用程序,该应用程序将实时显示此数据。我不确定是否应该在每次插入时写入文本文件,还是应该从 sql server 中为该表创建这些日志文件。这甚至可以做到吗?我担心每次插入后写入文件的开销。任何建议表示赞赏。
编辑:
我想用不同的方式来表达这个问题。我已经使用 SSIS sql 包每天创建一次日志文件。我可以将查询设置为每 30 分钟左右运行一次并收集自上次运行以来插入的所有新记录吗?
我在表中有 3/4 列,其中一列用于选择,即 dateAdded 列,记录根据此列分组以用于每日报告。