2

我用 GUI 构建了一个 twitter 爬虫，它从任何给定的 Twitter 帐户中获取最新的 20 条推文，并将它们保存到一个 csv 文件中。

爬虫应每 x 分钟 ( timeIntervall ) 重复爬取 y 次 ( times )。当爬虫当前很忙时，GUI 会冻结，所以我尝试使用线程来解决这个问题：

app = QtWidgets.QApplication(sys.argv)


class MainWindow(QtWidgets.QMainWindow):
    def __init__(self, parent=None):
        super().__init__(parent)
        self.setWindowTitle("Twitter Crawler")
        self.ui = Ui_MainWindow()
        self.ui.setupUi(self)
        self.ui.pushButton.clicked.connect(self.onPushButtonClick)

    def onPushButtonClick(self):

        def working(self):
            url = self.ui.urlInput.text()
            timeIntervall = self.ui.timeIntervall.text()
            seconds = timeIntervall.split(":")
            seconds = int(seconds[0]) * 60 * 60 + int(seconds[1]) * 60
            times = self.ui.crawlcount.value()
            fetcher = ArticleFetcher(url)
            print(times)
            firstFetch = True

            for count in range(0, times):
                if firstFetch:
                    fetcher.fetch()
                    firstFetch = False
                else:
                    time.sleep(seconds)
                    fetcher.fetch()

        worker = threading.Thread(target=working, args=(self,))
        worker.start()
        worker.join()

window = MainWindow()
window.show()
sys.exit(app.exec())

输入timeIntervall、times和pushButton后，会启动一个工作线程来处理爬取。应用程序正在运行，但 GUI 仍然冻结。

我怀疑我需要另一个用于 GUI 的线程并尝试了以下操作：

def gui():
    window = MainWindow()
    window.show()
    sys.exit(app.exec())

rungui = threading.Thread(target=gui)
rungui.start()
rungui.join()

现在 GUI 只打开非常短暂，然后立即再次关闭。

任何建议如何解决这个问题？还是不使用 PyQt 线程模块可能很愚蠢？

4

1 回答 1

0

Thread 的join()方法等待线程完成。当你启动你的工作线程时，让它自己运行。如果您需要显示它的进度，请使用 Queue 并将消息从工作线程发送到主线程（在某些计时器循环中使用get_nowait()以查看工作线程是否已发送重要信息）。

于 2018-08-11T14:48:12.133 回答