python - 从网站python美丽汤中刮取表格数据 - 访问所有表格条目

Question

我试图在抓取 FDA 网站时访问表格数据。

https://www.fda.gov/inspections-compliance-enforcement-and-criminal-investigations/compliance-actions-and-activities/warning-letters

在抓取上面的链接时，我只得到了表的 10 个条目。但表中有大约 2500 个条目。使用 F12 键检查了网站，但即使在将“显示条目更改为 50”之后也给了我 10 个条目

我想使用 Python beautiful Soup 来访问表的所有条目。我怎样才能做到这一点？

Answer 1

我不确定 Beautiful Soup 是否支持这一点，但您需要通过滚动页面来加载表格行。
这可以通过 Selenium 完成：
读取最初加载的数据，向上滚动页面，读取当前呈现的数据等等，直到呈现页面底部。