6

我有一个多线程脚本，当它连接到服务器时偶尔会冻结，但服务器不会发回任何东西。Netstat 显示一个连接的 tcp 套接字。即使我设置了 TIMEOUT，也会发生这种情况。超时在非线程脚本中工作正常。这是一些示例代码。

def xmlscraper(url):
  htmlpage = StringIO.StringIO()
  rheader = StringIO.StringIO()
  c = pycurl.Curl()
  c.setopt(pycurl.USERAGENT, "user agent string")
  c.setopt(pycurl.CONNECTTIMEOUT, 60)
  c.setopt(pycurl.TIMEOUT, 120)
  c.setopt(pycurl.FOLLOWLOCATION, 1)
  c.setopt(pycurl.WRITEFUNCTION, htmlpage.write)
  c.setopt(pycurl.HEADERFUNCTION, rheader.write)
  c.setopt(pycurl.HTTPHEADER, ['Expect:'])
  c.setopt(pycurl.NOSIGNAL, 1)
  c.setopt(pycurl.URL, url)
  c.setopt(pycurl.HTTPGET, 1)

pycurl.global_init(pycurl.GLOBAL_ALL)
for url in urllist:
    t = threading.Thread(target=xmlscraper, args=(url,))
    t.start()

任何帮助将不胜感激！几个星期以来一直试图解决这个问题。

编辑： urllist 有大约 10 个 url。有多少似乎并不重要。

edit2：我刚刚在下面测试了这段代码。我使用了一个休眠 100 秒的 php 脚本。

import threading
import pycurl
def testf():
    c = pycurl.Curl()
    c.setopt(pycurl.CONNECTTIMEOUT, 3)
    c.setopt(pycurl.TIMEOUT, 6)
    c.setopt(pycurl.NOSIGNAL, 1)
    c.setopt(pycurl.URL, 'http://xxx.xxx.xxx.xxx/test.php')
    c.setopt(pycurl.HTTPGET, 1)
    c.perform()
t = threading.Thread(target=testf)
t.start()
t.join()

该代码中的 Pycurl 似乎正确超时。所以我想这与网址的数量有关？吉尔？

编辑3：

我认为这可能与 libcurl 本身有关，因为有时当我检查脚本 libcurl 仍然连接到服务器数小时后。如果 pycurl 正确超时，则套接字将被关闭。

4

2 回答 2

3

我修改了您的“edit2”代码以生成多个线程，它在我的机器上运行良好（带有 Python 2.6.6 的 Ubuntu 10.10）

import threading
import pycurl

def testf():
    c = pycurl.Curl()
    c.setopt(pycurl.CONNECTTIMEOUT, 3)
    c.setopt(pycurl.TIMEOUT, 3)
    c.setopt(pycurl.NOSIGNAL, 1)
    c.setopt(pycurl.URL, 'http://localhost/cgi-bin/foo.py')
    c.setopt(pycurl.HTTPGET, 1)
    c.perform()

for i in range(100):
    t = threading.Thread(target=testf)
    t.start()

我可以生成 100 个线程，并且在 3 秒内全部超时（就像我指定的那样）。

我不会去责怪 GIL 和线程争用:)

于 2010-12-28T22:43:12.233 回答
1

在某些情况下，全局解释器锁（“GIL”）会阻碍 Python 线程。您启动的线程可能没有超时，因为它们实际上运行的频率不够高。

这个相关的 StackOverflow 问题可能会为您指明正确的方向：

于 2010-12-28T21:27:29.320 回答