7

我有一个 python 包，其中包含一些构建扩展所需的 C 代码（具有一些非平凡的构建需求）。我使用 SCons 作为我的构建系统，因为它非常好且灵活。

我正在寻找一种方法来编译我的带有 SCons 的 python 扩展，准备好与 distutils 一起分发。我希望用户只需键入 setup.py install 并使用 SCons 而不是默认的 distutils 构建引擎编译扩展。

想到的一个想法是在 distutils 中重新定义 build_ext 命令，但我找不到大量的文档。

有什么建议吗？

4

4 回答 4

2

enscons软件包似乎旨在完成所提问题。使用它来构建带有 C 扩展的包的示例在这里。

你可以有一个基本的包结构，比如：

pkgroot/
    pyproject.toml
    setup.py
    SConstruct
    README.md
    pkgname/
        __init__.py
        pkgname.py
        cfile.c

在这个pyproject.toml文件可能看起来像：

[build-system]
requires = ["enscons"]

[tool.enscons]
name = "pkgname"
description = "My nice packahe"
version = "0.0.1"
author = "Me"
author_email = "me@me.com"
keywords = ["spam"]
url = "https://github.com/me/pkgname"
src_root = ""
packages = ["pkgname"]

其中该[tool.enscons]部分包含 setuptools/distutilssetup函数熟悉的许多内容。从这里复制，该setup.py函数可能包含以下内容：

#!/usr/bin/env python

# Call enscons to emulate setup.py, installing if necessary.

import sys, subprocess, os.path

sys.path[0:0] = ['setup-requires']

try:
    import enscons.setup
except ImportError:
    requires = ["enscons"] 
    subprocess.check_call([sys.executable, "-m", "pip", "install", 
        "-t", "setup-requires"] + requires)
    del sys.path_importer_cache['setup-requires'] # needed if setup-requires was absent
    import enscons.setup

enscons.setup.setup()

最后，该SConstruct文件可能类似于：

# Build pkgname

import sys, os
import pytoml as toml
import enscons, enscons.cpyext

metadata = dict(toml.load(open('pyproject.toml')))['tool']['enscons']

# most specific binary, non-manylinux1 tag should be at the top of this list
import wheel.pep425tags
full_tag = next(tag for tag in wheel.pep425tags.get_supported() if not 'manylinux' in tag)

env = Environment(tools=['default', 'packaging', enscons.generate, enscons.cpyext.generate],
                  PACKAGE_METADATA=metadata,
                  WHEEL_TAG=full_tag)

ext_filename = os.path.join('pkgname', 'libcfile')

extension = env.SharedLibrary(target=ext_filename,
                              source=['pkgname/cfile.c'])

py_source = Glob('pkgname/*.py')

platlib = env.Whl('platlib', py_source + extension, root='')
whl = env.WhlFile(source=platlib)

# Add automatic source files, plus any other needed files.
sdist_source=list(set(FindSourceFiles() + 
    ['PKG-INFO', 'setup.py'] + 
    Glob('pkgname/*', exclude=['pkgname/*.os'])))

sdist = env.SDist(source=sdist_source)
env.Alias('sdist', sdist)

install = env.Command("#DUMMY", whl, 
                      ' '.join([sys.executable, '-m', 'pip', 'install', '--no-deps', '$SOURCE']))
env.Alias('install', install)
env.AlwaysBuild(install)

env.Default(whl, sdist)

在此之后你应该能够运行

sudo python setup.py install

编译 C 扩展并构建一个轮子，并安装 python 包，或者

python setup.py sdist

构建源代码分发。

我认为你基本上可以用SConstruct文件中的 SCons 做任何你可以做的事情。

于 2017-07-19T14:55:09.553 回答
1

请参阅页面：http ://www.scons.org/wiki/PythonExtensions

我正在使用稍微修改过的版本来为 python 构建 pyrex-c 扩展。

于 2010-04-13T09:20:20.287 回答
0

我使用 scons 生成 setup.py 文件。所以我创建了一个名为 setup.py.in 的模板，并使用 scons 扩展模板生成 setup.py。

以下是我的项目的一些链接：

setup.py.in 模板

SConstruct

这会计算一个键值对字典，以替换到 setup.py.in 模板中以生成 setup.py。

所以最终用户做了两件事：

scons setup.py
python setup.py install

警告：我之前写的 sconstruct 东西有点乱，但它应该演示这个概念。

如果你学会了如何编写适当的 scons 工具，那么这可以转化为单个目标，例如：

scons --pymod

这是一个使用 SWIG 生成 Python 包装器的 scons 工具：

import SCons.Action
from SCons.Script import EnsureSConsVersion

SCons.Script.EnsureSConsVersion(0,96,92)

SwigGenAction = SCons.Action.Action('$SWIGGENCOM', '$SWIGGENCOMSTR')

def emitter(target, source, env):
    """
    Add dependency from target to source
    """

    env.Depends(target, source)

    return target, source


def generate(env):
    """
    Add builders and construction variables for the SwigGen builder.
    """

    if 'SWIGCOM' not in env:
        raise SystemError("SCons build environment could not detect tool: swig")

    bld = env.Builder(
        action = SwigGenAction,
        emitter = emitter,
        target_factory = env.fs.File)

    env['BUILDERS']['SwigGen'] = bld

    env['SWIGGENCOM'] = env['SWIGCOM']


def exists(env):
    return env.Detect('swig')

现在从您的 SConstruct 文件中，您可以生成包装器代码：

foobar_cc = env.SwigGen("foobar_wrap.cc", "foobar.i")

如果您修改 foobar.i，它将重新生成 foobar_wrap.cc。一旦你有了这个，你就可以编写其他工具来实际执行 python setup.py install ，所以当提供 --pymod 时，它将构建 python 模块。

于 2013-08-22T16:20:42.687 回答
0

解决方案是提供从 distutils.cmd.Commmand 派生的自定义 cmdclass，它可以按照您的需要构建模块：

import distutils.cmd

class build_py_cmd(distutils.cmd.Command):
    def initialize_options(self):
        pass

    def finalize_options(self):
        pass
    def run(self):
        print("Calling SCons to build the module")
        pbs.scons()


setup(name = 'riak3k',
      packages = ['riak3k'],
      package_dir = {'': 'build/release'},
      cmdclass = {'build_py': build_py_cmd},
于 2013-12-19T11:27:53.997 回答