0

我想学习如何使用 python 下载过去十年的 CSV 文件。我认为这会有所帮助。

https://www.usgovernmentspending.com/compare_state_debt

我的尝试涉及请求和熊猫。

4

2 回答 2

1

这是一个多部分的问题，我将概述我认为您应该使用的步骤。

  • 第一部分将是简单地下载网页。我的建议是使用请求之类的东西来获取网页
  • 一旦你有了它，你就可以使用漂亮的汤来解析网页。
  • 我查看了该网站，看起来您可以通过多种方式下载数据。我认为获取数据的最佳方式是从页面中的这个特定部分提取所有文本。
  • 一旦你这样做了，你可能需要清理数据。我建议为此使用熊猫。

这里的人不会为你解决整个问题。也就是说，如果您在此过程中遇到困难并有一个特定的问题，StackOverflow 可能会在这一点上提供帮助。

于 2020-04-19T20:37:05.480 回答
0

问题已解决我设法使用硒解决了它。

通过执行以下操作：

from selenium import webdriver # allow launching browser
# Opening in incognito
driver_option = webdriver.ChromeOptions()
#driver_option.add_argument(" — incognito")
chromedriver_path = '# Write your path here' # Change this to your own chromedriver path!

# Creating a webdriver.
def create_webdriver():
 return webdriver.Chrome(executable_path=chromedriver_path, options=driver_option)

URL = ""

browser.get(url)
# Clicking the button.
elem1 = browser.find_element_by_link_text("download file")
# Clicking the button.
elem1.click()

直到 2020 年，我都将之前的代码循环放入了一个循环中，并且我得到了 CSV 格式的所有文件

于 2020-04-21T00:20:01.467 回答