9

我的应用程序在 Google App Engine 上运行，并且由于 CPU 使用率高，大多数请求不断收到黄旗。使用分析器，我将问题跟踪到创建jinja2.Environment实例的例程。

我在模块级别创建实例：

from jinja2 import Environment, FileSystemLoader
jinja_env = Environment(loader=FileSystemLoader(TEMPLATE_DIRS))

由于 Google AppEngine 操作模式 (CGI)，此代码可以在每个请求上运行（他们的模块导入缓存似乎将模块缓存几秒钟而不是几分钟）。

我正在考虑将环境实例存储在 memcache 中，但它似乎不可挑选。FileSystemLoader实例似乎是可腌制的并且可以被缓存，但我没有观察到使用这种方法对 CPU 使用率有任何实质性的改进。

任何人都可以建议一种方法来减少创建jinja2.Environment实例的开销？

编辑：下面是探查器输出的（相关）部分。

222172 function calls (215262 primitive calls) in 8.695 CPU seconds

 ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     33    1.073    0.033    1.083    0.033 {google3.apphosting.runtime._apphosting_runtime___python__apiproxy.Wait}
438/111    0.944    0.002    2.009    0.018 /base/python_dist/lib/python2.5/sre_parse.py:385(_parse)
   4218    0.655    0.000    1.002    0.000 /base/python_dist/lib/python2.5/pickle.py:1166(load_long_binput)
      1    0.611    0.611    0.679    0.679 /base/data/home/apps/with-the-flow/1.331879498764931274/jinja2/environment.py:10()

一个电话，但据我所知（这在我所有基于 GAE 的应用程序中都是一致的），这是整个请求处理周期中最昂贵的。

4

3 回答 3

10

Armin 建议将 Jinja2 模板预编译为 python 代码，并在生产中使用编译好的模板。所以我为此制作了一个编译器/加载器，它现在将一些复杂的模板渲染速度提高了 13 倍，从而消除了所有的解析开销。与存储库链接的相关讨论在这里。

于 2009-06-19T21:02:24.583 回答
4

好的，人们，这就是我今天在#pocoo 上得到的：

[20:59] zgoda：你好，我想知道我是否可以优化我的jinja2环境创建过程，问题->优化Jinja2环境创建

[21:00] zgoda：我有来自“冷”应用程序的分析器输出-> http://paste.pocoo.org/show/107009/

[21:01] zgoda：对于“热”-> http://paste.pocoo.org/show/107014/

[21:02] zgoda：我想知道是否可以降低为“冷”请求创建环境的 CPU 成本

[21:05]mitsuhiko：zgoda：将环境创建放入您导入的模块中

[21:05] 光彦：喜欢

[21:05]mitsuhiko：从 yourapplication.utils 导入环境

[21:05] zgoda：它已经在那里了

[21:06] 光彦：嗯

[21:06] mitsuhiko：我认为问题在于模板在每次访问时都重新编译

[21:06] mitsuhiko：不幸的是，gae 是非常有限的，我不知道我目前能做些什么

[21:07] zgoda：我尝试使用 jinja bytecache，但它在 prod 上不起作用（它在开发服务器上）

[21:08] 光彦：我知道

[21:08]mitsuhiko：appengine 没有元帅

[21:12] zgoda：mitsuhiko：谢谢

[21:13] zgoda：我希望我做错了什么，这可以优化......

[21:13] mitsuhiko：zgoda：下一个版本将提供改进的 appengine 支持，但我还不确定如何为 ae 实现改进的缓存

看起来 Armin 意识到 AppEngine 上的字节码缓存存在问题，并计划改进 Jinja2 以允许在 GAE 上进行缓存。我希望随着时间的推移事情会变得更好。

于 2009-03-08T20:20:49.863 回答
1

根据这个google recipe你可以使用 memcache 来缓存字节码。您还可以缓存模板文件内容本身。都在同一个食谱中

于 2009-04-30T13:29:51.063 回答