4

问题：如果作业的结果立即丢弃，为什么redis会填满？

我使用 redis 作为队列来异步创建 PDF，然后将结果保存到我的数据库中。由于它已保存，我不需要在以后访问该对象，因此我不需要在处理结果后将结果存储在 Redis 中。

为了防止结果留在redis中，我将其设置TTL为0：

parameter_dict = {          
    "order": serializer.object,
    "photo": base64_image,
    "result_ttl": 0
}
django_rq.enqueue(procces_template, **parameter_dict)

问题是尽管 redis 工作人员说作业立即到期：

15:33:35 Job OK, result = John Doe's nail order to 568 Broadway
15:33:35 Result discarded immediately.
15:33:35
15:33:35 *** Listening on high, default, low...

Redis 仍然填满并抛出：

ResponseError: command not allowed when used memory > 'maxmemory'

如果作业结果尚未存储，我是否需要在 redis / django-rq 中设置另一个参数以防止 redis 被填满？

更新：

在这篇文章之后，我预计内存可能会因为 redis 中的失败作业而被填满。

使用此代码段：

def print_redis_failed_queue():
    q = django_rq.get_failed_queue()
    while True:
        job = q.dequeue()
        if not job:
            break
        print job

这是 redis 中密钥转储的粘贴箱：

http://pastebin.com/Bc4bRyRR

太长了，不实用在这里发帖。它的大小似乎支持我的理论。但是使用：

def delete_redis_failed_queue():
    q = django_rq.get_failed_queue()
    count = 0
    while True:
        job = q.dequeue()
        if not job:
            print "{} Jobs deleted.".format(count)
            break
        job.delete()
        count += 1

不会像我期望的那样清除redis。如何更准确地转储 redis 中的键？我是否正确清除作业？

4

2 回答 2

2

事实证明，Redis 是因为孤立的工作而被填满的，即。未分配给特定队列的作业。

虽然孤立作业的原因尚不清楚，但问题已通过以下代码段解决：

import redis
from rq.queue import Queue, get_failed_queue
from rq.job import Job
redis = Redis()
for i, key in enumerate(self.redis.keys('rq:job:*')):
    job_number = key.split("rq:job:")[1]
    job = Job.fetch(job_number, connection=self.redis)
    job.delete()

在我的特殊情况下，在每个作业的竞争之后调用这个片段（实际上是delete_orphaned_jobs()下面的方法）确保 Redis 不会填满，并且会处理孤立的作业。有关该问题的更多详细信息，请参阅已打开的django-rq 问题中的对话链接。

在诊断此问题的过程中，我还创建了一个实用程序类，用于轻松检查和删除作业/孤立作业：

class RedisTools:
    '''
    A set of utility tools for interacting with a redis cache
    '''

    def __init__(self):
        self._queues = ["default", "high", "low", "failed"]
        self.get_redis_connection()

    def get_redis_connection(self):
        redis_url = os.getenv('REDISTOGO_URL', 'redis://localhost:6379')
        self.redis = redis.from_url(redis_url)

    def get_queues(self):
        return self._queues

    def get_queue_count(self, queue):
        return Queue(name=queue, connection=self.redis).count

    def msg_print_log(self, msg):
        print msg
        logger.info(msg)

    def get_key_count(self):
        return len(self.redis.keys('rq:job:*'))

    def get_queue_job_counts(self):
        queues = self.get_queues()
        queue_counts = [self.get_queue_count(queue) for queue in queues]
        return zip(queues, queue_counts)

    def has_orphanes(self):
        job_count = sum([count[1] for count in self.get_queue_job_counts()])
        return job_count < self.get_key_count()

    def print_failed_jobs(self):
        q = django_rq.get_failed_queue()
        while True:
            job = q.dequeue()
            if not job:
                break
            print job

    def print_job_counts(self):
        for queue in self.get_queue_job_counts():
            print "{:.<20}{}".format(queue[0], queue[1])
        print "{:.<20}{}".format('Redis Keys:', self.get_key_count())

    def delete_failed_jobs(self):
        q = django_rq.get_failed_queue()
        count = 0
        while True:
            job = q.dequeue()
            if not job:
                self.msg_print_log("{} Jobs deleted.".format(count))
                break
            job.delete()
            count += 1

    def delete_orphaned_jobs(self):
        if not self.has_orphanes():
            return self.msg_print_log("No orphan jobs to delete.")

        for i, key in enumerate(self.redis.keys('rq:job:*')):
            job_number = key.split("rq:job:")[1]
            job = Job.fetch(job_number, connection=self.redis)
            job.delete()
            self.msg_print_log("[{}] Deleted job {}.".format(i, job_number))
于 2014-09-20T16:28:05.627 回答
1

您可以使用http://python-rq.org/docs/exceptions/中的“黑洞”异常处理程序job.cancel()：

def black_hole(job, *exc_info):
    # Delete the job hash on redis, otherwise it will stay on the queue forever
    job.cancel()
    return False
于 2014-12-02T20:46:02.693 回答