2

如何编译整个 Python 库及其依赖项,以便它可以在 C 中使用(无需调用 Python 的运行时)。也就是说,编译后的代码嵌入了 Python 解释器,不需要在系统上安装 Python。

据我了解,当使用 Cython 编译 Python 代码时:

  • --embed如果使用参数,则不调用 python 运行时
  • 单独编译文件
  • 允许调用不同的模块(从 Python 运行时/其他编译的 Cython 文件)

尚不清楚的问题是:

  • 如何从 C 中使用这些模块文件?编译后的 Python 文件在 C 中使用时可以调用其他编译后的 Python 文件吗?
  • 只需要声明库入口点还是需要声明所有函数?
  • 如何管理 Python 依赖项?如何编译它们(这样就不需要 Python 运行时)。

module一个名为where __init__.pyis an empty file的 Python 库的简化示例:

module/
├── run.py
├── http/
│   ├── __init__.py
│   ├── http_request.py

http_requests.py包含:

import requests

def get_ip():
    r = requests.get('https://ipinfo.io/ip')
    print(r.text)

run.py包含以下内容:

from http import http_request

if __name__ == '__main__':
    http_request.get_ip()

如何在get_ip不使用 Python 运行时的情况下从 C 调用函数(运行应用程序时需要安装 Python)。

上面的例子很简单。实际用例是以高采样率在 C 语言中收集/处理机器人数据。虽然 C 非常适合基本数据处理,但也有优秀的 Python 库可以进行更全面的分析。目标是调用已在 C 中部分处理的数据的 Python 库。这将使我们能够更详细地了解数据(并“实时”处理它)。数据框架太大,我们的团队无法用 C 重写。

4

1 回答 1

3

如何编译整个 Python 库及其依赖项,以便它可以在 C 中使用(无需调用 Python 的运行时)。

这一般是不可能的。Python 代码实际上应该在 Python 解释器上运行。

有时,当只使用一小部分 Python 时(甚至间接地被 Python 代码使用的所有内容),您可能会使用Cython(它实际上是一小部分 Python 的超集:很多真正的 Python 功能不能从 Cython 中使用) ,或使用 Python 解释器)。但并不是每个 Python 代码都可以被 cythonized,因为 Python 和 C 具有非常不同(且不兼容)的语义(和内存管理)。

否则(通常情况下),使用 Python 的 C 代码应该嵌入 Python 解释器

如果您的目标是使自给自足的 C 库可用于许多 C 程序(在没有 Python 的系统上),那么一种更明智、更健壮的方法是用 C重写您的代码

您还可以考虑启动(在您的 C 库中)一些 Python 进程(类似服务器,执行您的 Python 工作)并使用进程间通信设施,这将是操作系统特定的。当然,Python 需要使用您的库安装在应用程序的系统上。例如,对于 Linux,您可能会在库中 fork 一些 Python 进程,并使用pipe(7)unix(7)套接字从 C 库与该进程进行通信(可能使用JSONRPC 之类的东西)。

您的编辑(仍然不是MCVE)显示了在 Python 中完成的一些 HTTP 交互。您可以考虑在 C 中这样做,借助 C 中的 HTTP 客户端库(如libcurl)或(如果需要)HTTP 服务器库(如libonion ) 。

所以考虑用 C 重写你的东西,但使用几个现有的C 库(如何选择以及选择什么是一个非常不同的问题,可能在 StackOverflow 上偏离主题)。否则,接受对 Python 的依赖。

实际用例是以高采样率在 C 语言中收集/处理机器人数据。虽然 C 非常适合基本数据处理,但也有优秀的 Python 库可以进行更全面的分析。

您可以在 Python 中保留高级内容(请参阅this),但在 C 中重新编码低级内容以加速它们(许多软件正在这样做,例如 TensorFlow,...),可能作为Python或其他一些过程中的 C 扩展. 当然,这意味着一些开发工作。如果您在 Python 中使用大量代码,我认为完全避免使用 Python 是不合理的(完全摆脱 Python 并不实用)。顺便说一句,您可能会考虑在您的 C 应用程序中嵌入一些其他语言(例如 Lua、Guile、Ocaml - 据传它们都比 Python 更快)并让 Python 保持更高级别,在其他进程中运行。

你需要在你的事物的架构设计上付出更多的努力。我不确定完全避免使用 Python 是否明智。混合 Python 和 C(也许通过让多个进程合作)可能更明智。当然,您将拥有特定于操作系统的东西(特别是在 C 端,用于进程间通信)。如果在 Linux 上,请阅读一些关于用 C 语言进行 Linux 系统编程的内容,例如ALP或更新的内容。

于 2018-05-04T04:45:43.960 回答