145

将 Python（可能通过中间 C 表示）编译成机器代码有多可行？

据推测，它需要链接到 Python 运行时库，并且 Python 标准库的任何部分本身就是 Python 也需要编译（和链接）。

此外，如果您想对表达式进行动态评估，则需要捆绑 Python 解释器，但也许不允许这样做的 Python 子集仍然有用。

它会提供任何速度和/或内存使用优势吗？大概 Python 解释器的启动时间将被消除（尽管共享库仍需要在启动时加载）。

4

10 回答 10

56

正如@Greg Hewgill 所说，这并非总是可能的，这是有充分理由的。但是，某些类型的代码（例如非常算法代码）可以变成“真正的”机器代码。

有几种选择：

  • 使用Psyco，它动态地发出机器代码。不过，您应该仔细选择要转换的方法/功能。
  • 使用Cython，这是一种类似Python 的语言，被编译成 Python C 扩展
  • 使用PyPy，它有一个从 RPython（Python 的一个受限子集，不支持 Python 的一些最“动态”特性）到 C 或 LLVM 的翻译器。
    • PyPy 仍然是高度实验性的
    • 并非所有扩展都会出现

之后，您可以使用现有软件包之一（freeze、Py2exe、PyInstaller）将所有内容放入一个二进制文件中。

总而言之：您的问题没有通用答案。如果您的 Python 代码对性能至关重要，请尝试使用尽可能多的内置功能（或询问“如何使我的 Python 代码更快”的问题）。如果这没有帮助，请尝试识别代码并将其移植到 C（或 Cython）并使用扩展。

于 2008-09-26T10:06:43.200 回答
34

尝试ShedSkin Python-to-C++ 编译器，但它远非完美。如果只需要加速，还有 Psyco - Python JIT。但恕我直言，这是不值得的努力。对于代码的速度关键部分，最好的解决方案是将它们编写为 C/C++ 扩展。

于 2008-09-26T10:00:15.553 回答
17

Nuitka是一个链接到 libpython 的 Python 到 C++ 编译器。这似乎是一个相对较新的项目。作者声称在 pystone 基准测试中速度比 CPython 有所提高。

于 2014-04-09T03:52:37.577 回答
15

PyPy是一个在 Python 中重新实现 Python 的项目，使用编译为本机代码作为实现策略之一（其他是带有 JIT 的 VM，使用 JVM 等）。他们编译的 C 版本的平均运行速度比 CPython 慢，但对于某些程序来说要快得多。

Shedskin是一个实验性的 Python 到 C++ 编译器。

Pyrex是一种专门为编写 Python 扩展模块而设计的语言。它旨在弥合 Python 的漂亮、高级、易于使用的世界与杂乱、低级的 C 世界之间的鸿沟。

于 2008-09-26T10:06:06.680 回答
10

Pyrex是编译成 C 的 Python 语言的一个子集，由第一个为 Python构建列表解析的人完成。它主要是为构建包装器而开发的，但可以在更一般的环境中使用。 Cython是 pyrex 的一个更积极维护的分支。

于 2008-09-26T10:06:46.413 回答
5

一些额外的参考：

于 2015-08-30T06:27:35.510 回答
3

Jython 有一个针对 JVM 字节码的编译器。字节码是完全动态的，就像 Python 语言本身一样！很酷。（是的，正如 Greg Hewgill 的回答所暗示的，字节码确实使用 Jython 运行时，因此 Jython jar 文件必须与您的应用程序一起分发。）

于 2008-09-26T10:00:16.740 回答
2

Psyco是一种即时 (JIT) 编译器：适用于 Python 的动态编译器，代码运行速度快 2-100 倍，但它需要大量内存。

简而言之：它可以更快地运行您现有的 Python 软件，而您的源代码没有任何变化，但它不会像 C 编译器那样编译为目标代码。

于 2008-09-26T09:59:12.297 回答
2

答案是“是的，有可能”。您可以获取 Python 代码并尝试使用 CPython API 将其编译为等效的 C 代码。事实上，曾经有一个 Python2C 项目就是这样做的，但我已经很多年没有听说过它了（回到 Python 1.5 天是我最后一次看到它的时候。）

您可以尝试将 Python 代码尽可能多地转换为原生 C，并在需要实际 Python 功能时回退到 CPython API。在过去的一两个月里，我自己一直在玩弄这个想法。然而，这是一项非常大量的工作，而且大量 Python 特性很难翻译成 C：嵌套函数、生成器、除了具有简单方法的简单类之外的任何东西，任何涉及从模块外部修改模块全局变量的东西等等， ETC。

于 2008-09-26T10:14:09.843 回答
2

这不会将 Python 编译为机器代码。但允许创建一个共享库来调用 Python 代码。

如果您正在寻找的是一种从 C 运行 Python 代码而不依赖 execp 的简单方法。您可以从 python 代码生成一个共享库，其中包含对Python 嵌入 API的一些调用。好吧，该应用程序是一个共享库，一个 .so 您可以在许多其他库/应用程序中使用。

这是一个创建共享库的简单示例，您可以将其与 C 程序链接。共享库执行 Python 代码。

将执行的python文件是pythoncalledfromc.py：

# -*- encoding:utf-8 -*-
# this file must be named "pythoncalledfrom.py"

def main(string):  # args must a string
    print "python is called from c"
    print "string sent by «c» code is:"
    print string
    print "end of «c» code input"
    return 0xc0c4  # return something

你可以用python2 -c "import pythoncalledfromc; pythoncalledfromc.main('HELLO'). 它将输出：

python is called from c
string sent by «c» code is:
HELLO
end of «c» code input

共享库将由以下定义callpython.h：

#ifndef CALL_PYTHON
#define CALL_PYTHON

void callpython_init(void);
int callpython(char ** arguments);
void callpython_finalize(void);

#endif

相关callpython.c的是：

// gcc `python2.7-config --ldflags` `python2.7-config --cflags` callpython.c -lpython2.7 -shared -fPIC -o callpython.so

#include <stdlib.h>
#include <stdio.h>
#include <string.h>
#include <python2.7/Python.h>

#include "callpython.h"

#define PYTHON_EXEC_STRING_LENGTH 52
#define PYTHON_EXEC_STRING "import pythoncalledfromc; pythoncalledfromc.main(\"%s\")"


void callpython_init(void) {
     Py_Initialize();
}

int callpython(char ** arguments) {
  int arguments_string_size = (int) strlen(*arguments);
  char * python_script_to_execute = malloc(arguments_string_size + PYTHON_EXEC_STRING_LENGTH);
  PyObject *__main__, *locals;
  PyObject * result = NULL;

  if (python_script_to_execute == NULL)
    return -1;

  __main__ = PyImport_AddModule("__main__");
  if (__main__ == NULL)
    return -1;

  locals = PyModule_GetDict(__main__);

  sprintf(python_script_to_execute, PYTHON_EXEC_STRING, *arguments);
  result = PyRun_String(python_script_to_execute, Py_file_input, locals, locals);
  if(result == NULL)
    return -1;
  return 0;
}

void callpython_finalize(void) {
  Py_Finalize();
}

您可以使用以下命令编译它：

gcc `python2.7-config --ldflags` `python2.7-config --cflags` callpython.c -lpython2.7 -shared -fPIC -o callpython.so

创建一个名为的文件callpythonfromc.c，其中包含以下内容：

#include "callpython.h"

int main(void) {
  char * example = "HELLO";
  callpython_init();
  callpython(&example);
  callpython_finalize();
  return 0;
}

编译并运行：

gcc callpythonfromc.c callpython.so -o callpythonfromc
PYTHONPATH=`pwd` LD_LIBRARY_PATH=`pwd` ./callpythonfromc

这是一个非常基本的例子。它可以工作，但根据库的不同，将 C 数据结构序列化为 Python 以及从 Python 序列化为 C 可能仍然很困难。事情可以在某种程度上自动化......

Nuitka可能会有所帮助。

还有numba，但他们都不打算完全按照您的意愿行事。从 Python 代码生成 C 标头是可能的，但前提是您指定如何将 Python 类型转换为 C 类型或可以推断该信息。有关 Python ast 分析器的信息，请参阅python astroid。

于 2014-05-11T19:29:38.003 回答