1

我正在尝试创建一个程序：

  • 开始使用时分叉multiprocessing
  • 分叉的进程用于python-daemon在后台再次分叉
  • 在生成的后台进程中打开一个扭曲的侦听 TCP 端口

我需要在启动之前分叉该进程的原因python-daemon是因为我希望凝视进程保持活动状态（默认情况下python-daemon会杀死父进程）。

到目前为止，我的代码是：

from twisted.web import xmlrpc, server
from twisted.internet import reactor
from daemon import daemon
import multiprocessing
import os
import logging

class RemotePart(object):

    def setup(self):
        self.commands = CommandPart()
        reactor.listenTCP(9091, server.Site(self.commands))

class CommandPart(xmlrpc.XMLRPC, object):

    def __init__(self):
        super(CommandPart, self).__init__()

    def xmlrpc_stop(self):
        return True


class ServerPart(object):

    def __init__(self):
        self.logger = logging.getLogger("server")
        self.logger.info("ServerPart.__init__()")

    def start_second_daemon(self):
        self.logger.info("start_second_daemon()")        
        daemon_context = daemon.DaemonContext(detach_process=True)
        daemon_context.stdout = open(
            name="log.txt", 
            mode='w+', 
            buffering=0
        )
        daemon_context.stderr = open(
            name="log.txt", 
            mode='w+', 
            buffering=0
        )
        daemon_context.working_directory = os.getcwd()

        daemon_context.open()
        self.inside_daemon()

    def inside_daemon(self):
        self.logger.setLevel(0)
        self.logger.info("inside daemon")
        self.remote = RemotePart()
        self.remote.setup()
        reactor.run()

class ClientPart(object):

    def __init__(self):
        logging.basicConfig(level=0)
        self.logger = logging.getLogger("client")
        self.logger.info("ClientPart.__init__()")

    def start_daemon(self):
        self.logger.info("start_daemon()")
        start_second_daemon()

    def launch_daemon(self):
        self.logger.info("launch_daemon()")
        server = ServerPart()
        p = multiprocessing.Process(target=server.start_second_daemon())
        p.start()
        p.join()

if __name__ == '__main__':
    client = ClientPart()
    client.launch_daemon()

启动该过程似乎有效：

INFO:client:ClientPart.__init__()
INFO:client:launch_daemon()
INFO:server:ServerPart.__init__()
INFO:server:start_second_daemon()

但是查看后台进程的日志文件，twisted无法打开TCP端口：

INFO:server:inside daemon
Traceback (most recent call last):
  File "forking_test.py", line 74, in <module>
    client.launch_daemon()
  File "forking_test.py", line 68, in launch_daemon
    p = multiprocessing.Process(target=server.start_second_daemon())
  File "forking_test.py", line 45, in start_second_daemon
    self.inside_daemon()
  File "forking_test.py", line 51, in inside_daemon
    self.remote.setup()
  File "forking_test.py", line 12, in setup
    reactor.listenTCP(9091, server.Site(self.commands))
  File "/usr/lib/python2.7/site-packages/twisted/internet/posixbase.py", line 482, in listenTCP
    p.startListening()
  File "/usr/lib/python2.7/site-packages/twisted/internet/tcp.py", line 1004, in startListening
    self.startReading()
  File "/usr/lib/python2.7/site-packages/twisted/internet/abstract.py", line 429, in startReading
    self.reactor.addReader(self)
  File "/usr/lib/python2.7/site-packages/twisted/internet/epollreactor.py", line 247, in addReader
    EPOLLIN, EPOLLOUT)
  File "/usr/lib/python2.7/site-packages/twisted/internet/epollreactor.py", line 233, in _add
    self._poller.register(fd, flags)
IOError: [Errno 9] Bad file descriptor

任何的想法 ？当这个启动时，似乎python-daemon正在关闭后台进程的所有文件描述符，它可能来自这种行为吗？

4

1 回答 1

1

运行 fork 然后运行一些不起作用的任意库代码有很多原因。在这里很难将它们全部列出，但通常这样做并不酷。我对这里具体发生的事情的猜测是，其中的某些东西multiprocessing正在关闭让 Twisted 与其线程池通信的“唤醒”文件描述符，但我不能完全确定。

如果您要将其重写为：

  1. 使用spawnProcess代替multiprocessing
  2. 使用twistd代替python-daemonize

交互不会那么令人惊讶，因为您将使用专为与 Twisted 一起使用而设计的进程生成和守护程序代码，而不是具有大量意外平台交互的两件事（调用 fork，使用 pickle 通过管道序列化事物，调用 setid以及不同时间的 setuid 和更改控制终端和会话负责人）。

（实际上，我建议与您平台的守护程序管理工具集成，例如upstartorlaunchd或systemd或跨平台工具，runit而不是依赖于任何守护程序代码，包括 中的代码，twistd但我需要更多地了解您的应用程序才能知道要做什么推荐。）

于 2013-10-08T23:11:55.677 回答