screen-scraping - 什么是保护链接数据库免受自动抓取的好方法？

Question

我有一个大型链接数据库，我想防止其他人想要复制它们。除了强迫人们在每个链接之前输入验证码之外，我还能做些什么吗？

Answer 1

您可以使用 ROT13 输出链接，然后使用 javascript 将它们恢复正常。这样，刮板必须支持javascript才能窃取您的链接，这应该会减少合格刮板的数量

加分：用更难的东西替换 ROT13，并混淆你的“解码”javascript。

Answer 2

javascript 建议可以工作，但您会使那些使用屏幕阅读器等辅助技术的人以及没有 javascript 的人无法访问您的页面。

另一种可能的选择是生成加密随机数。该技术目前用于防止 CSRF 攻击，但也可用于确保爬虫必须在访问链接之前从您的站点请求页面。如果您支持盗链，这种方法可能不合适，但如果您只是想确保有人先访问了您的网站，它可能会起作用。

另一个有点贫民区的选择是使用推荐人。这些很容易被伪造，但它可能会阻止一些更愚蠢的刮刀。这还要求您在用户访问您的网站之前了解他们的来源。

您能否告知我们您是否在进行盗链，或者用户是否在访问受保护的链接之前访问了您的网站？我们或许可以通过这种方式提供更好的建议。