我正在尝试从站点中抓取数据。数据结构为多个对象,每个对象都有一组数据。例如,有姓名、年龄和职业的人。
我的问题是这些数据在网站中分为两个级别。
例如,第一页是姓名和年龄列表,其中包含指向每个人的个人资料页面的链接。
他们的个人资料页面列出了他们的职业。
我已经有一个用 python 写的爬虫,它可以从顶层收集数据并爬过多个分页。
但是,如何从内页收集数据,同时将其链接到适当的对象?
目前,我的输出结构为 json
{[name='name',age='age',occupation='occupation'],
[name='name',age='age',occupation='occupation']} etc
解析功能可以跨页面吗?