filesystems - 基于文件系统的工作流程

Question

我有一个带有网络应用程序的应用程序，它基本上接受一些日志文件的上传，并且有一些进程应该按顺序对接收到的日志文件进行操作。在其当前实现中，每个进程从文件系统接收文件并执行一些处理并将处理后的文件输出到其他文件夹，并从输入文件夹中删除相同的文件。现在，我想知道这是否是最好的方法，但我对此表示怀疑。在这里遵循的最佳方法应该是什么？我应该为此使用像 RabbitMQ 这样的消息传递系统吗？我应该传递队列中的整个文件还是只传递一个目录/文件名并将文件保存在其他一些常见的（例如，NAS）或分布式文件系统上？

Answer 1

这在很大程度上取决于您的要求和设置。例如，如果进程是指物理上独立的节点，那么是的，面向消息的中间件在启用发布者/订阅者节点之间的通信方面是有意义的。此外，另一个优点是您可以卸载接受输入文件的节点并将业务逻辑分布在其他节点上。