postgresql - 消息队列和数据库插入

Question

我是消息队列的新手，对它们的功能和用途很感兴趣。我对如何使用它有一个想法，但想知道它是否是这个工具的最佳用途。我有一个应用程序可以拾取和读取电子表格，将数据业务对象转换为数据库存储。我的应用程序需要读取并能够更新数十万条记录，但我遇到了保存这些对象和批量插入数据库的性能问题。

使用消息队列有两个不同的应用程序（一个用于读取电子表格，一个用于存储记录）是否是对消息队列的正确利用？显然，我需要在我的代码中进行一些优化，这将是我的第一步，但想听听那些使用过消息队列的人的想法。

Answer 1

这不是对队列的不当使用，但是很难判断在您的场景中添加消息队列是否会对您提到的性能问题产生任何影响。我们需要更多信息。

您是否将一条消息添加到队列以告诉进程转换电子表格，并在数据准备好加载时添加第二条消息？或者您是否正在考虑为每个数据记录添加消息？（这可能会很快变得昂贵，并且可能不会提高性能）。