1

我有一段代码通过按顺序访问链接来检索一系列股票的目标 URL。我读过可以考虑多处理来加快整个过程。

任何专家都可以解释我可以做些什么来将代码更改为多处理模式？

在我看来，如果代码必须按顺序爬到每个目标 URL，瓶颈将是浏览器的访问速度。只是想知道使用多处理是否是加速它的方法，因为程序可以生成相同代码的多个版本并同时转到 3-4 个 URL 并将结果传递回代码等。

index = 0
stop = len(stock) - 1
stockURL = {}
stockmap = {}

while index <= stop:
    tag = str(int(2) + index)
    if index <= 7:
        w.iimPlayCode(path to my file)
        w.iimPlayCode('WAIT SECONDS=5')
        w.iimPlayCode('ADD !EXTRACT {{!URLCURRENT}}')
        stockURL[index] = w.iimGetExtract(1)
        w.iimPlayCode('BACK')        
        index +=1
    else:
        w.iimPlayCode(path to my file)
        w.iimPlayCode('WAIT SECONDS=5')
        w.iimPlayCode('ADD !EXTRACT {{!URLCURRENT}}')
        stockURL[index] = w.iimGetExtract(1)
        w.iimPlayCode('BACK')
        index += 1  

stockURL = list(stockURL.values())
stockURL = str(u','.join(stockURL))
stockURL = stockURL.replace('http', 'URL GOTO=http').split(',')
stockURL = list(stockURL)

stockmap = dict(zip(stocks, stockURL))
4

0 回答 0