我现在必须解决类似的问题。它不会是一个公共站点,而是类似地,一个低流量的内部服务器。
技术限制:
- 长期运行过程的所有输入数据都可以在其开始时提供
- 长时间运行的进程不需要用户交互(启动进程的初始输入除外)
- 计算时间足够长,以至于结果无法通过即时 HTTP 响应提供给客户端
- 需要来自长时间运行过程的某种反馈(某种进度条)。
因此,我们至少需要两个网络“视图”:一个用于启动长期运行的进程,另一个用于监控其状态/收集结果。
我们还需要某种进程间通信:将用户数据从发起方(基于 http 请求的 Web 服务器)发送到长时间运行的进程,然后将其结果发送到接收方(同样是 Web 服务器,由 http 请求驱动)。前者容易,后者不那么明显。与普通的 Unix 编程不同,接收者最初是未知的。接收者可能是与发起者不同的进程,它可能会在长时间运行的作业仍在进行中或已经完成时开始。所以管道不起作用,我们需要一些长期运行过程的结果。
我看到两种可能的解决方案:
- 将长时间运行的进程的启动分派给长时间运行的作业管理器(这可能是上述 django-queue-service 的内容);
- 将结果永久保存在文件或数据库中。
我更喜欢使用临时文件并记住它们在会话数据中的位置。我不认为它可以变得更简单。
作业脚本(这是长期运行的过程)myjob.py
,:
import sys
from time import sleep
i = 0
while i < 1000:
print 'myjob:', i
i=i+1
sleep(0.1)
sys.stdout.flush()
djangourls.py
映射:
urlpatterns = patterns('',
(r'^startjob/$', 'mysite.myapp.views.startjob'),
(r'^showjob/$', 'mysite.myapp.views.showjob'),
(r'^rmjob/$', 'mysite.myapp.views.rmjob'),
)
django 意见:
from tempfile import mkstemp
from os import fdopen,unlink,kill
from subprocess import Popen
import signal
def startjob(request):
"""Start a new long running process unless already started."""
if not request.session.has_key('job'):
# create a temporary file to save the resuls
outfd,outname=mkstemp()
request.session['jobfile']=outname
outfile=fdopen(outfd,'a+')
proc=Popen("python myjob.py",shell=True,stdout=outfile)
# remember pid to terminate the job later
request.session['job']=proc.pid
return HttpResponse('A <a href="/showjob/">new job</a> has started.')
def showjob(request):
"""Show the last result of the running job."""
if not request.session.has_key('job'):
return HttpResponse('Not running a job.'+\
'<a href="/startjob/">Start a new one?</a>')
else:
filename=request.session['jobfile']
results=open(filename)
lines=results.readlines()
try:
return HttpResponse(lines[-1]+\
'<p><a href="/rmjob/">Terminate?</a>')
except:
return HttpResponse('No results yet.'+\
'<p><a href="/rmjob/">Terminate?</a>')
return response
def rmjob(request):
"""Terminate the runining job."""
if request.session.has_key('job'):
job=request.session['job']
filename=request.session['jobfile']
try:
kill(job,signal.SIGKILL) # unix only
unlink(filename)
except OSError, e:
pass # probably the job has finished already
del request.session['job']
del request.session['jobfile']
return HttpResponseRedirect('/startjob/') # start a new one