我正在使用 python 进行网络抓取投影。我应该刮掉这个网站（https://www.fec.gov/data/receipts/?committee_id=C00703975&two_year_transaction_period=2020&data_type=processed）。我遇到的问题是，当您浏览数据时，网址永远不会改变。我不确定如何进行。根据我在抓取网站时的经验，切换页面时 url 会发生变化，但这个不会更改页面，它只是通过同一页面上的数据。谢谢！
1 回答
1
该网站处理大量数据并且是动态的。在同一布局内，显示的数据会不断变化。解决您的问题的另一种方法（可能不是最好的）是将数据导出并将其保存到暂存区域并处理该数据。您可以从https://www.fec.gov/data/browse-data/?tab=bulk-data定期刷新您的暂存区
这显着减少了对抓取程序的需求，让您专注于实际数据分析。
于 2020-11-10T04:53:30.577 回答