4

我正在修改一个网络工具,给定一个 URL,它将检索文本并为用户提供有关内容的一些统计信息。

我担心为用户提供一种从我的盒子向网络上任意 URL 发起 GET 请求的方法可能会成为攻击的载体(例如 to http://undefended.box/broken-sw/admin?do_something_bad)。

有没有办法将这种风险降到最低?提供公共 URL 检索能力时有什么最佳实践吗?

我想过的一些想法:

  • 尊重robots.txt
  • 仅接受或拒绝某些 URL 模式
  • 检查适当网站的黑名单/白名单(如果存在这样的事情)
  • 通过知名的第 3 方的公共网络代理工作,假设他们已经内置了这些保护措施

谢谢你的帮助。

编辑:它将仅评估 HTML 或文本内容,而不下载或评估链接脚本、图像等。如果是 HTML,我将使用 HTML 解析器。

4

1 回答 1

2

统计数据是否与文档中的文本有关?您打算使用 HTML 解析器对其进行评估吗?

如果只是您要分析的文本,即不下载更多链接、评估脚本等,那么风险就不那么严重了。

通过防病毒程序传递您下载的每个文件可能不会有什么坏处。您还应该将 GET 限制为某些内容类型(即不要下载二进制文件;确保它是某种文本编码)。

于 2009-03-01T19:57:48.963 回答