python - 如何减少过期请求？

Question

我为每个站点的主题分配了 30 个请求。对于某些人来说，15-20 个请求都是徒劳的。我怎样才能减少这种情况？

我正在使用 Python BeautifulSoup 库从站点中提取数据。

The architecture of the site is as follows ( each topic ):
      www.abc.com/
      www.abc.com/1
      www.abc.com/2
      www.abc.com/3
      www.abc.com/4
      www.abc.com/5
      www.abc.com/6

for firstTemplate in firstTemplates:
      i=1
      while i < 30:
          sendRequest = requests.get(firstTemplate + str(i))
          source = BeautifulSoup(sendRequest.content, "lxml")
          i = i + 1

当我查看网站的所有问题时，平均/数量是 25-26。但并非所有线程都是相同的，我将 30 个请求分配为固定的。

例如：30 次请求后的www.abc.com/5 。我无缘无故地抛出 25 个请求。

我应该写类似“将相同的数据拉出循环”之类的东西吗？我认为这将提高程序的性能。但我不知道怎么做。