0

我有以下代码递归迭代并通过网络执行某些操作。当它通过网络时，我想做一些优化，其中第一个优化是避免通过网络来处理我已经尝试过的某些元素。

例如，在下面的例子中，我调用一个 URL，提取在该 URL 中找到的 HREF，然后调用这些 URL 并报告状态。由于可能会再次获取某些 URL，对于那些失败的 URL，我想将它们添加到全局状态，以便下次遇到此 URL 时，我将避免那些网络调用。

这是代码：

def callURLWithCache(url: String): Task[HttpResult] = {
    Task {
      Http(url).timeout(connTimeoutMs = 1000, readTimeoutMs = 3000).asString
    }.attempt.map {
      case Left(err) =>
        println(s"ERR happened ----------------- $url ************************ ${err.getMessage}")
        // Add to the cache
        val httpResult = HttpResult(source = url, isSuccess = false, statusCode = 1000, errorMessage = Some(err.getMessage))
        val returnnnn: Try[Any] = httpResultErrorCache.put(url)(httpResult)
        httpResult
      case Right(doc) =>
        if (doc.isError) {
          HttpResult(source = url, isSuccess = doc.isSuccess, statusCode = doc.code)
        } else {
          val hrefs = (browser.parseString(doc.body) >> elementList("a[href]") >?> attr("href"))
            .distinct.flatten.filter(_.startsWith("http"))
          HttpResult(source = url, isSuccess = doc.isSuccess, statusCode = doc.code, elems = hrefs)
        }
    }
  }

您可以在案例 Left(....) 块中看到我将失败的案例类添加到缓存中，我在此函数的封闭类上全局定义为：

val underlyingCaffeineCache: cache.Cache[String, Entry[HttpResult]] = Caffeine.newBuilder().maximumSize(10000L).build[String, Entry[HttpResult]]
implicit val httpResultErrorCache: Cache[HttpResult] = CaffeineCache(underlyingCaffeineCache)

这是我执行递归操作的函数：

def parseSimpleWithFilter(filter: ParserFilter): Task[Seq[HttpResult]] = {
    def parseInner(depth: Int, acc: HttpResult): Task[Seq[HttpResult]] = {
      import cats.implicits._
      if (depth > 0) {
        val batched = acc.elems.collect {
          case elem if httpResultErrorCache.get(elem).toOption.exists(_.isEmpty) =>
            callURLWithCache(elem).flatMap(newElems => parseInner(depth - 1, newElems))
        }.sliding(30).toSeq
          .map(chunk => Task.parSequence(chunk))
        Task.sequence(batched).map(_.flatten).map(_.flatten)
      } else Task.pure(Seq(acc))
    }
    callURLWithCache(filter.url).map(elem => parseInner(filter.recursionDepth, elem)).flatten
  }

可以看出，我正在检查我作为当前元素的 url 是否已经在缓存中，这意味着我已经尝试过但失败了，所以我想避免再次为它进行 HTTP 调用。

但是发生的事情是，httpResultErrorCache 总是空的。我不确定 Task 块是否导致了这种行为。关于如何让缓存工作的任何想法？

4

0 回答 0