问题标签 [python-huey]

我正在尝试为 python 运行 Huey 任务队列（它是 Celery 的替代品），并且我坚持使用 main.Configuration 启动消费者（正如它在教程中所写的那样）。我知道 huey_consumer 正在 python 中的某处寻找配置文件，但我无法根据教程让它工作，我不知道为什么我应该编写一个配置文件并将其作为模块（而不是文件）加载。

当我运行huey_consumer.py main.Configuration它返回Unable to import "main"。

Huey 也将这个问题写在了他们的常见问题中，但这也没有真正的帮助。

如果有人在使用 Huey，请帮助我。

我是大数据技术/hadoop 生态系统的新手。

作为我的一项任务的一部分，我正在尝试在我的单节点 hadoop 集群 [apache 发行版 hadoop2.6.0] 上安装和运行 Hue。

我已经按照许多网站提供的说明安装了 hue：

1. 下载了最新的hue tar文件
2. 在一个位置解压
3. 冉sudo make install
4. 它在 /usr/local/hue 目录中安装了色调
5. 使用我的集群所需的详细信息更新了 hue.ini 文件。
6. 当我尝试使用“：8888”通过 Web UI 访问新安装的色调时，它显示以下错误页面：

1198，在通信 req.respond() 文件“/usr/local/hue/desktop/core/src/desktop/lib/wsgiserver.py”，第 568 行，在响应 self._respond() 文件“/usr/local/ hue/desktop/core/src/desktop/lib/wsgiserver.py”，第 580 行，在 _respond response = self.wsgi_app(self.environ, self.start_response) 文件“/usr/local/hue/build/env/lib /python2.6/site-packages/Django-1.6.10-py2.6.egg/django/core/handlers/wsgi.py”，第 206 行，通话中 response = self.get_response(request) 文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/core/handlers/base .py”，第 194 行，在 get_response response = self.handle_uncaught_exception(request, resolver, sys.exc_info()) 文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Django- 1.6.10-py2.6.egg/django/core/handlers/base.py”，第 236 行，在 handle_uncaught_exception 返回回调（请求，**param_dict）文件“/usr/local/hue/desktop/core/src/ desktop/views.py”，第 304 行，在 serve_500_error 返回渲染（“500.mako”，请求，{'traceback'：traceback.extract_tb（exc_info[2]）}）文件“/usr/local/hue/desktop/核心/src/desktop/lib/django_util.py”，第 225 行，在渲染**kwargs）文件“/usr/local/hue/desktop/core/src/desktop/lib/django_util.py”，第146行，在_render_to_response中返回django_mako.render_to_response（模板，*args，**kwargs）文件“/usr/local/hue/desktop/core/src/desktop/lib/django_mako.py”，第 125 行，在 render_to_response 返回 HttpResponse(render_to_string(template_name, data_dictionary), **kwargs) 文件“/usr/local/hue /desktop/core/src/desktop/lib/django_mako.py”，第 114 行，在 render_to_string_normal 结果 = template.render(**data_dict) 文件“/usr/local/hue/build/env/lib/python2.6/ site-packages/Mako-0.8.1-py2.6.egg/mako/template.py”，第 443 行，在渲染返回运行时。第 146 行，在 _render_to_response 返回 django_mako.render_to_response(template, *args, **kwargs) 文件“/usr/local/hue/desktop/core/src/desktop/lib/django_mako.py”，第 125 行，在 render_to_response 返回 HttpResponse (render_to_string(template_name, data_dictionary), **kwargs) 文件“/usr/local/hue/desktop/core/src/desktop/lib/django_mako.py”，第 114 行，在 render_to_string_normal 结果 = template.render(**data_dict ）文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Mako-0.8.1-py2.6.egg/mako/template.py”，第443行，在渲染返回运行时.第 146 行，在 _render_to_response 返回 django_mako.render_to_response(template, *args, **kwargs) 文件“/usr/local/hue/desktop/core/src/desktop/lib/django_mako.py”，第 125 行，在 render_to_response 返回 HttpResponse (render_to_string(template_name, data_dictionary), **kwargs) 文件“/usr/local/hue/desktop/core/src/desktop/lib/django_mako.py”，第 114 行，在 render_to_string_normal 结果 = template.render(**data_dict ）文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Mako-0.8.1-py2.6.egg/mako/template.py”，第443行，在渲染返回运行时.在 render_to_response 返回 HttpResponse(render_to_string(template_name, data_dictionary), **kwargs) 文件“/usr/local/hue/desktop/core/src/desktop/lib/django_mako.py”，第 114 行，在 render_to_string_normal 结果 = template.render (**data_dict) 文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Mako-0.8.1-py2.6.egg/mako/template.py”，第 443 行，在渲染返回运行时。在 render_to_response 返回 HttpResponse(render_to_string(template_name, data_dictionary), **kwargs) 文件“/usr/local/hue/desktop/core/src/desktop/lib/django_mako.py”，第 114 行，在 render_to_string_normal 结果 = template.render (**data_dict) 文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Mako-0.8.1-py2.6.egg/mako/template.py”，第 443 行，在渲染返回运行时。第 443 行，在渲染返回运行时。第 443 行，在渲染返回运行时。渲染（自我，self.callable，参数，数据）文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Mako-0.8.1-py2.6.egg/mako/runtime .py”，第 786 行，在 _render **_kwargs_for_callable(callable_, data)) 文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Mako-0.8.1-py2.6 .egg/mako/runtime.py”，第 818 行，在 _render_context _exec_template(inherit, lclcontext, args=args, kwargs=kwargs) 文件“/usr/local/hue/build/env/lib/python2.6/site- packages/Mako-0.8.1-py2.6.egg/mako/runtime.py”，第 844 行，在 _exec_template callable_(context, *args, **kwargs) 文件“/tmp/tmpjqe8jG/desktop/500.mako. py”，第 103 行，在 render_body 中 M_writer(unicode(commonfooter(messages))) 文件“/usr/local/hue/desktop/core/src/desktop/views.py”，第 388 行，在 commonfooter hue_settings = Settings.get_settings() 文件“/usr/local /hue/desktop/core/src/desktop/models.py”，第 59 行，在 get_settings 设置中，创建 = Settings.objects.get_or_create(id=1) 文件“/usr/local/hue/build/env/lib/ python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/manager.py”，第 154 行，在 get_or_create 返回 self.get_queryset().get_or_create(**kwargs) 文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/query.py”，第 391 行，在 get_or_create六.reraise(*exc_info) 文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/query.py”，第 383 行，在 get_or_create obj.save(force_insert=True, using=self.db) 文件“/usr/local/hue/build/env /lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/base.py"，第 545 行，在保存 force_update=force_update, update_fields=update_fields) 文件"/ usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/base.py”，第 573 行，在 save_base 中更新 = self._save_table(raw, cls, force_insert, force_update, using, update_fields) 文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg /django/db/models/base.py”，第 654 行，在 _save_table 结果 = self._do_insert(cls._base_manager, using, fields, update_pk, raw) 文件中“/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/base.py”，第 687 行，在 _do_insert 中使用=使用，原始=原始）文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/manager. py”，第 232 行，在 _insert 返回 insert_query(self.model, objs, fields, **kwargs) 文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6. 10-py2.6.egg/django/db/models/query.py”，第 1514 行，在 insert_query 返回 query.get_compiler(using=using).execute_sql(return_id) 文件“/usr/local/hue/build/env /lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/models/sql/compiler.py”，第 903 行，在 execute_sql cursor.execute(sql, params) 文件中"/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/backends/util.py”，第 53 行，执行返回self.cursor.execute(sql, params) 文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/utils .py”，第 99 行，在 __exit 中 六.reraise（dj_exc_type，dj_exc_value，traceback）文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/db/backends /util.py”，第 53 行，在执行中返回 self.cursor.execute(sql, params) 文件“/usr/local/hue/build/env/lib/python2.6/site-packages/Django-1.6.10 -py2.6.egg/django/db/backends/sqlite3/base.py"，第 452 行，在执行中返回 Database.Cursor.execute(self, query, params) OperationalError：尝试写入只读数据库

不知道是什么意思，请帮我解决这个问题

问候， 布佩什

标准的 Django 日志设置不会捕获Huey任务中的异常日志。

这意味着默认情况下重要任务会静默失败。

如何确保记录异常？

我想测试一个huey任务，并且需要修补requests.get.

运行测试的文件：

启动 huey_consumer：huey_tasks.huey -w 10 -l logs/huey.log
运行测试，但是补丁没有任何效果。

如果我移除@huey.task()装饰器，则修补工作1并被打印。

那么我应该如何测试huey任务呢？毕竟，我不能每次都删除装饰器，必须是更好的方法。

我正在为计划任务编写测试，但 task_id 总是返回 None

我如何模拟或模拟 Huey 来创建测试用例？

我正在尝试在我的 Flask 应用程序所需的弹性 beantalk 上运行一个huey任务队列。但是没有内置的方式将huey作为守护进程运行。huey 的作者建议使用supervisor运行 huey （此链接），并且由于弹性 beanstalk 已经使用了 supervisor，我认为我们可以添加由 supervisor 管理的程序。但我不确定如何以编程方式执行此操作。目前，我正在使用配置文件中的container_commands( ref link ) 键来运行它，但是弹性 beanstalk 在一段时间后在前台运行时给了我一个超时错误。下面是我正在使用的配置文件。

这是我想要实现的目标：
1. 部署我的 Flask 应用程序时，huey 应该作为后台进程运行。
2.主管应处理huey进程的自动启动/停止。

我正在将Huey与一个简单的金字塔应用程序集成。我没有在应用程序中使用全局 SQLAlchemy 会话（我正在使用最新的炼金术脚手架）。但是，似乎没有其他直接的方法可以为周期性任务提供会话。

Huey 是否提供挂钩以在任务完成时关闭数据库连接？为这些任务提供线程安全连接的最佳方式是什么？

提前致谢！

我们在 Windows 上的 IIS 下运行 Flask 站点，对于进程外任务，我们使用 Celery。Celery 在 Windows 下给我们带来了一些问题，但现在我们对运行 3.1.12 版本感到满意，使用 RabbitMQ/AMQP 作为后端，它可以在 Windows 下运行。

新版本的 Celery (4) 已经放弃了对 Windows 的支持，所以我正在寻找一个可行的替代方案。

RQ 似乎是一个非常不错的任务队列，但它也不支持 Windows（页面底部）

我看到了更多，似乎不太受欢迎的任务队列，例如：

• 库鲁克
• 任务老虎
• 休伊

但目前尚不清楚这些是否支持 Windows 和 Flask。我想知道是否有人有在 Windows 下运行 Python 任务队列的经验。也许是我提到的其中一个，或者是替代方案。

运行 Linux 机器不是我们的选择，因为我们没有管理 Linux 的经验，而且我们有很多需要 Windows 运行的遗留系统。

查了huey的文档，在网上搜了一下，没找到huey和django的版本兼容性信息。有人可以向我提供这些信息吗？

我已经阅读了官方文档，但我不太确定我是否了解如何应用他们所说的内容。我也看过这个 QA，我也使用工厂模式。就是看不到全貌。

1. 只要其他 redis/huey 设置的连接池可能会因给定环境（开发、生产）而有所不同。我们如何连接huey以便我们可以像 Flask 应用程序一样配置它？

2. 只要我理解从视图中触发任务，我们需要导入任务模块并调用特定任务（调用传递敏感参数的函数）。我们应该在哪里实例化，保留huey实例？

3. 任务应该知道应用程序的依赖关系吗？我们是否应该为此考虑另一个精简的Flask应用程序？

你能帮忙一点吗？