我正在我的网站上构建一个脚本,但发现自己有点困惑如何以最少的编码使其正常工作。
基本上所需要的就是我可以输入一个 URL,例如 domain.com,它应该扫描该主页以查找指向我的域的链接,并检查是否分配了 rel="nofollow" 并返回 true如果链接没有 rel="nofollow" 或 false 如果没有链接,或者链接上有 rel="nofollow" 。
我该怎么做,或者我会从哪里开始。
我已经用谷歌搜索了如何创建蜘蛛,但是对于我要创建的基本脚本来说,它的信息量很大而且很复杂!