0

我已经使用goquery构建了一个网络爬虫。但是它只能检索前 14 或 15 篇文章的元数据，因为剩余的文章只能在手动单击“加载更多”按钮后才能看到。

新文章不是异步加载的，因为我实际上可以在它们变得可见后找到它们的文本出现在“查看页面源”选项卡下（根据我对“异步”主题的有限知识）。所以我想这是一个优点。

我该如何处理这个问题？除了最初的 15 篇文章，我还有哪些选择？

4

0 回答 0