Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
我已经下载了 websphinx 来执行此操作,但我需要它询问我网站的用户名和密码,然后将用户名和密码提交给网站,一旦通过身份验证,它应该开始抓取内部链接和子链接并将结束页面的静态数据保存到excel文件。是否有任何其他方法或爬虫可以做到这一点,但仅限于java
我对 websphinx 不熟悉,但您能否将 url 设置为包含基本身份验证的用户名和密码:
https://username:password@myserver.mydomain.com/