c++ - 使用 boost.python 在 cygwin 中手动构建 python 扩展

Question

对不起，这样一个笼统的标题，但我不太确定我到底错过了什么或我做错了什么。我的目标是在 cygwin 下使用 boost.python 构建一个 python 扩展，并避免使用 boost.build 工具，即使用 make 而不是 bjam。后一种方式对我来说非常好，但现在我想这样做。我通过谷歌搜索和寻找类似的主题解决了许多问题，这帮助我找出了一些技巧并继续前进。然而在最后一步似乎有一些问题。我将尝试详细描述我的所有步骤，希望这篇文章将来对其他人有用，并更好地描述设置。

因为我不太确定 python 和 boost 的原始安装（来自各种 cygwin 存储库），所以我决定在我的主目录中从头开始安装它们，所以这就是我所做的：

首先安装python。我将跳过这个细节，它或多或少是直截了当的。对于后面的描述重要的是路径：

/home/Alexey_2/Soft/python2.6 - 这是 PYTHONPATH，也包含在 PATH 中
致力于提升：

a) 将 boost 源解压到
```
/home/Alexey_2/Soft/boost_1_50_0   - this is BOOST_ROOT
```
b) 制作 bjam。首先进入目录：
```
/home/Alexey_2/Soft/boost_1_50_0/tools/build/v2 
```
接下来，调用 bootstrap.sh 这最终会在此目录中创建 b2 和 bjam 可执行文件。在 .bash_profile 中将此目录添加到 PATH，这样我们就可以调用 bjam。在这里和以后每次编辑 .bash_profile 之后，我都会重新启动 cygwin 以使更改生效

c) 仍在
```
/home/Alexey_2/Soft/boost_1_50_0/tools/build/v2 
```
目录 - 编辑 user-config.jam，让 bjam 知道要使用哪个 python。所以就我而言，我只添加一行：
```
using python : 2.6 : /home/Alexey_2/Soft/python2.6/bin/python2.6 : /home/Alexey_2/Soft/python2.6/include/python2.6 : /home/Alexey_2/Soft/python2.6/bin ;
```
在 lib-path （最后一个条目）中，我放 /home/Alexey_2/Soft/python2.6/bin 因为它包含 libpython2.6.dll

d) 好的。现在我们可以制作 boost-python 库了。进入 BOOST_ROOT 目录并执行命令
```
bjam --with-python toolset=gcc link=shared
```
这将创建必要的库（cygboost_python.dll 和 libboost_python.dll.a）并将它们放入
```
/home/Alexey_2/Soft/boost_1_50_0/stage/lib 
```

构建python扩展。

这是我的简单测试程序（实际上是示例代码的一部分）

// file xyz.cpp
#include <boost/python.hpp>
#include <iostream>
#include <iomanip>
using namespace std;
using namespace boost::python;

class Hello
{
  std::string _msg;
public:
  Hello(std::string msg){_msg = msg;}
  void set(std::string msg) { this->_msg = msg; }
  std::string greet() { return _msg; }
};

BOOST_PYTHON_MODULE(xyz)
{
  class_<Hello>("Hello", init<std::string>())
    .def("greet", &Hello::greet)
    .def("set", &Hello::set)
  ;  
}

这是Makefile：

FLAGS= -fno-for-scope -O2 -fPIC
CPP=c++

# BOOST v 1.50.0
p1=/home/Alexey_2/Soft/boost_1_50_0
pl1=/home/Alexey_2/Soft/boost_1_50_0/stage/lib

# PYTHON v 2.6
p2=/home/Alexey_2/Soft/python2.6/include/python2.6
pl2=/home/Alexey_2/Soft/python2.6/bin


I=-I${p1} -I${p2}
L=-L${pl1} -lboost_python -L${pl2} -lpython2.6

all: xyz.so

xyz.o: xyz.cpp 
    ${CPP} ${FLAGS} ${I} -c xyz.cpp

xyz.so: xyz.o 
    ${CPP} ${FLAGS} -shared -o xyz.so xyz.o ${L}

clean:
    rm *.o
    rm xyz.so

一些评论：

库路径已设置，我针对适当的库进行编译（查看更多：用 win7-64bit 中的 mingw 用 boost.python 编译一些代码）。
上面的链接解释了为什么配置 user-config.jam 很重要——我在步骤 1c 中做了。
为了避免可能出现的问题（如上面的链接以及无法将 boost.python 与 mingw 链接（尽管对于 mingw）），我使用静态喜欢的 boost.python 库
```
link=shared 
```
作为 bjam 的论据（见 1d）
正如这里所解释的：MinGW + Boost: undefined reference to `WSAStartup@8' 想要编译某些东西的库应该列在目标文件之后，这就是为什么我们有：
```
${CPP} ${FLAGS} -shared -o xyz.so xyz.o ${L}
```
并不是
```
${CPP} ${FLAGS} -shared ${L} -o xyz.so xyz.o
```

这是我的 .bash_profile 的一部分（最终），我在其中定义了环境变量：

# Python
export PATH=/home/Alexey_2/Soft/python2.6/bin:$PATH
export PYTHONPATH=/home/Alexey_2/Soft/python2.6
export LD_LIBRARY_PATH=/home/Alexey_2/Soft/python2.6/lib:/home/Alexey_2/Soft/python2.6/bin:$LD_LIBRARY_PATH

# Boost
export BOOST_ROOT=/home/Alexey_2/Soft/boost_1_50_0
export LD_LIBRARY_PATH=/home/Alexey_2/Soft/boost_1_50_0/stage/lib:$LD_LIBRARY_PATH
export PATH=/home/Alexey_2/Soft/boost_1_50_0/stage/lib:$PATH

# bjam
export PATH=/home/Alexey_2/Soft/boost_1_50_0/tools/build/v2:$PATH

最后，到问题。通过上述设置，我能够成功构建 python 扩展对象文件：

xyz.so

但是，当我通过简单的脚本对其进行测试时：

# this is a test.py script
import xyz

ImportError 来了：

$ python test.py
Traceback (most recent call last):
  File "test.py", line 1, in <module>
    import xyz
ImportError: No module named xyz

已经注意到，出现此类问题的原因可能是使用了错误的 python 可执行文件，但事实并非如此：

$ which python
/home/Alexey_2/Soft/python2.6/bin/python

预期的内容（注意 python 是从该目录到 python2.6 的符号链接）

这是我拥有的另一条有用的信息：

$ ldd xyz.so
    ntdll.dll => /cygdrive/c/Windows/SysWOW64/ntdll.dll (0x76fa0000)
    kernel32.dll => /cygdrive/c/Windows/syswow64/kernel32.dll (0x76430000)
    KERNELBASE.dll => /cygdrive/c/Windows/syswow64/KERNELBASE.dll (0x748e0000)
    cygboost_python.dll => /home/Alexey_2/Soft/boost_1_50_0/stage/lib/cygboost_python.dll (0x70cc0000)
    cygwin1.dll => /usr/bin/cygwin1.dll (0x61000000)
    cyggcc_s-1.dll => /usr/bin/cyggcc_s-1.dll (0x6ff90000)
    cygstdc++-6.dll => /usr/bin/cygstdc++-6.dll (0x6fa90000)
    libpython2.6.dll => /home/Alexey_2/Soft/python2.6/bin/libpython2.6.dll (0x67ec0000)
    ??? => ??? (0x410000)

我想知道什么

??? => ??? (0x410000)

可能意味着。可能这就是我所缺少的。但那是什么？非常感谢任何意见和建议（不仅是关于最后一个问题）。

编辑：

根据 (twsansbury) 的建议，使用 -vv 选项检查 python 模块搜索路径：

python -vv test.py

给

# trying /home/Alexey_2/Programming/test/xyz.dll   
# trying /home/Alexey_2/Programming/test/xyzmodule.dll
# trying /home/Alexey_2/Programming/test/xyz.py
# trying /home/Alexey_2/Programming/test/xyz.pyc
...
# trying /home/Alexey_2/Soft/python2.6/lib/python2.6/site-packages/xyz.dll
# trying /home/Alexey_2/Soft/python2.6/lib/python2.6/site-packages/xyzmodule.dll
# trying /home/Alexey_2/Soft/python2.6/lib/python2.6/site-packages/xyz.py
# trying /home/Alexey_2/Soft/python2.6/lib/python2.6/site-packages/xyz.pyc
Traceback (most recent call last):
  File "test.py", line 1, in <module>
    import xyz
ImportError: No module named xyz

第一个目录是我调用 python 来运行脚本的地方。主要结论是 cygwin python 正在寻找具有标准 Windows 扩展的模块（库） - dll（以及其他 3 种类型），而不是我最初从 cygwin 的 Linux 仿真风格所期望的 .so。因此，将上一个 Makefile 中的以下几行更改为：

all: xyz.dll

xyz.o: xyz.cpp 
        ${CPP} ${FLAGS} ${I} -c xyz.cpp

xyz.dll: xyz.o 
    ${CPP} ${FLAGS} -shared -o xyz.dll xyz.o ${L}

clean:
    rm *.o
    rm xyz.dll

生成xyz.dll，可以成功加载：

python -vv test.py

现在给出：

Python 2.6.8 (unknown, Mar 21 2013, 17:13:04)
[GCC 4.5.3] on cygwin
Type "help", "copyright", "credits" or "license" for more information.
# trying /home/Alexey_2/Programming/test/xyz.dll
dlopen("/home/Alexey_2/Programming/test/xyz.dll", 2);
import xyz # dynamically loaded from /home/Alexey_2/Programming/test/xyz.dll

score 1 · Accepted Answer

这ImportError通常与 Boost.Python 无关。相反，它通常表明它xyz不在Python Module Search Path中。

要对此进行调试，请考虑使用-vv参数运行 python。这将导致 python 为尝试导入时检查的每个文件打印一条消息xyz。无论如何，构建过程看起来是正确的，因此问题可能是文件扩展名或模块不在搜索路径中的结果。

我不确定 Cygwin 将如何与 Python 的运行时加载行为进行交互。然而：

在Windows上，python 扩展有一个.pyd扩展名。
在 Linux 上，python 扩展有一个.so扩展。

此外，验证xyz库是否位于以下位置之一：

包含test.py脚本的目录（或当前目录）。
PYTHONPATH环境变量中列出的目录。
依赖于安装的默认目录。

如果显示的未解析库ldd导致错误，它通常会显示为ImportError带有指示未定义引用的消息。

c++ - 使用 boost.python 在 cygwin 中手动构建 python 扩展

1 回答 1

Related

Reference