我有一个 python Django 管理命令,应该在接收到输入文件时调用,但是这个命令对于并行调用是不安全的。因此,只有当没有其他文件正在处理时,才应该处理输入文件。
我拥有的一种解决方案是使用锁定文件。基本上,在进程开始时创建一个锁定文件并在结束时将其删除。
我担心如果进程崩溃,锁定文件将不会被删除,因此在我们手动删除该锁定文件之前不会处理任何其他文件。
该解决方案不需要特定于 Django 甚至 python,但是强制只运行此进程的一个实例的最佳实践是什么?
我有一个 python Django 管理命令,应该在接收到输入文件时调用,但是这个命令对于并行调用是不安全的。因此,只有当没有其他文件正在处理时,才应该处理输入文件。
我拥有的一种解决方案是使用锁定文件。基本上,在进程开始时创建一个锁定文件并在结束时将其删除。
我担心如果进程崩溃,锁定文件将不会被删除,因此在我们手动删除该锁定文件之前不会处理任何其他文件。
该解决方案不需要特定于 Django 甚至 python,但是强制只运行此进程的一个实例的最佳实践是什么?
正如 KlausD 在他的评论中提到的,规范的(和语言无关的)解决方案是使用包含正在运行进程的 pid 的锁定文件,因此负责获取锁定的代码可以检查进程是否仍在运行。
如果您在项目中使用 redis,另一种解决方案是将锁存储在 redis 中,其 TTL 比任务的最坏情况运行时长一点。这确保了锁将被释放,并且如果需要,还允许在多个服务器之间轻松共享锁。
编辑:
进程崩溃并且另一个进程获取相同的pid是否可能?
是的,当然,这在服务器运行一个月或更长时间而无需重新启动的情况下甚至更可能(这是轻描淡写),如果服务器运行许多短期进程,则更是如此。您不仅要检查是否有与此 pid 匹配的正在运行的进程,还要获取进程统计信息以检查进程启动时间、命令行、父进程等,并确定它是同一进程还是新进程的可能性。
请注意,这并不是什么新鲜事——大多数进程监控工具都面临同样的问题,因此您可能想检查它们是如何解决的(gunicorn 可能是一个很好的起点)。