5

我需要转换附加到每个文档的图像（实际上需要将图像缩小到 400px 宽度）。实现这一目标的最佳方法是什么？正在考虑让 nodejs 代码监听 _changes 并对文档保存执行必要的操作。但是，这有很多缺点：a）文档更改并不总是意味着添加了新附件 b）我们必须一直处理已经缩小的图像（至少检查图像宽度）

4

1 回答 1

12

我认为您基本上在数据库中有一些数据，而您的大部分问题只是应用程序逻辑和实现。我可以想象一个使用 Drizzle 的应用程序的非常相似的需求列表。无论如何，您的应用程序如何“切入正题”并利用 CouchDB 的优势？

Node.js_changes侦听器听起来是一个很好的起点。Node.js 有很多炒作和愚蠢的辩论。但是对于从 CouchDB 接收“待办事项列表”并同时执行该列表，Node.js 是理想的。

记忆

我立即认为文档中的图像元数据会对您有所帮助。获取图像并检查它是否为 400 像素可能会很昂贵。如果您可以在文档中指出"shrunk":true或"width":400或类似的内容，您将立即知道跳过该文档。（这是一种优化，您可以在项目的早期阶段跳过它。）

但是如何使元数据与图像保持同步呢？也许有人稍后会附上一张大图，元数据仍然显示"shrunk":true。一个答案是验证功能。validate_doc_update()有权检查新旧（候选）文件版本。如果不满足，可以throw()异常阻止改变。因此，它可以通过以下几种方式执行您的政策：

  • 每次附加新图像时，"shrunk"也必须删除密钥
  • 或者，您的外部 Node.js 工具具有访问 CouchDB 的专用用户名。文档绝不能设置"shrunk":true，除非用户是您的工具

另一个值得研究的想法是"shrunk":true，您将其设置为图像的 MD5 校验和，而不是设置。（这已经在文档中，在._attachments对象中。）因此，如果您的 Node.js 工具看到此文档，它就知道它有工作要做。

{ "_id": "a_doc"
, "shrunk": "md5-D2yx50i1wwF37YAtZYhy4Q=="
, "_attachments":
  { "an_image.png":
    { "content_type":"image/png"
    , "revpos": 1
    , "digest": "md5-55LMUZwLfzmiKDySOGNiBg=="
    }
  }
}

换句话说：

if(doc.shrunk == doc._attachments["an_image.png"].digest)
  console.log("This doc is fine")
else
  console.log("Uh oh, I need to check %s and maybe shrink the image", doc._id)

执行

我有偏见，因为我编写了以下工具。但是我已经成功了，其他人也报告了使用 Node.js 包成功跟随观看_changes事件：https ://github.com/iriscouch/follow

然后在 CouchDB 文档中使用 Txn 进行 ACID 事务：https ://github.com/iriscouch/txn

模式是，

  • follow()在 _changes URL 上运行，可能"include_docs":true在选项中。
  • 对于每个更改，确定它是否需要工作。如果是这样，请执行一个函数来进行必要的更改，并让我们txn()负责获取和更新，如果出现临时错误，可能会重试。

例如，Txn 可以帮助您以原子方式调整图像大小并更新元数据，非常容易。

最后，如果您的程序崩溃，您可能会获取大量已处理的文档。这可能没问题（如果您的元数据正常工作）；但是您可能希望偶尔记录一个检查点。记住你看到了哪些变化。

var db = "http://localhost:5984/my_db"
var checkpoint = get_the_checkpoint_somehow() // Synchronous, for simplicity

follow({"db":db, "since":checkpoint}, function(er, change) {
  if(change.seq % 100 == 0)
    store_the_checkpoint_somehow(change.seq) // Another synchronous call
})

工作队列

再一次，我很尴尬地指向我自己的所有工具。但是图像处理是工作队列情况的一个典型例子。每个需要工作的文档都放在队列中。一个无限的、有弹性的工人大军收到一份工作，修复文件，并标记工作完成（删除）。

我自己经常使用它，这就是我制作 CQS（CouchDB 队列系统）的原因：https ://github.com/iriscouch/cqs

它适用于 Node.js，与 Amazon SQS 相同，只是它使用您自己的 CouchDB 服务器。如果您已经在使用 CouchDB，那么 CQS 可能会简化您的项目。

于 2012-04-07T12:51:59.673 回答