我目前正在伦敦大学攻读 BSc Creative Computing,并且正处于学习的最后一年。为了完成学位,我剩下的唯一模块是项目。
我对基于内容的图像检索领域非常感兴趣,我的项目想法就是基于这个概念。简而言之,我的想法是帮助新手艺术家使用 3D 模型作为参考来绘制透视草图。我打算通过渲染集合中每个 3D 模型的侧/顶/前视图来实现这一点,预处理这些图像并对其进行索引。在绘图时,用户会得到一系列与他/她的草图最匹配的模型(已经过预处理),这些模型可以用作进一步增强草图的指导。由于这种方法依赖于 3D 模型,因此用户也可以在 3D 空间中旋转草图并根据该透视图继续绘制。这种方法可以帮助漫画家或概念设计师快速勾勒出他们的想法。
在进行研究时,我遇到了LIRe,我必须说我印象非常深刻。我已经下载了 LIRe 演示 v0.9 并试用了包含的示例。我还开发了一个小型应用程序,它可以自动下载、索引和搜索相似的图像,以便更好地了解引擎的内部工作原理。即使使用有限的图像集(~300),这两种方法都返回了非常好的结果。
下一个实验是在提供草图而不是实际图像作为输入时测试输出响应。如前所述,系统应该能够根据用户的草图提供一组匹配模型。这可以通过将草图与渲染图像(当然随后链接到 3D 模型)进行匹配来实现。我通过将几个草图与一小组图像进行比较来尝试这种方法,结果非常好 - 请参阅http://claytoncurmi.net/wordpress/?p=17。但是,当我尝试使用一组不同的图像时,结果不如以前的场景好。我使用了 LIRe 提供的 Bag of Visual Words(使用 SURF)技术来创建和搜索索引。
我也在尝试一些OpenCV附带的示例代码(我从未使用过这个库,我仍在寻找我的方式)。
所以,我的问题是;
1..有没有人尝试过实现基于草图的图像检索系统?如果是这样,你是怎么做的?
2.. LIRe/OpenCV 可以用于基于草图的图像检索吗?如果是这样,如何做到这一点?
PS。我已经阅读了几篇关于这个主题的论文,但是我没有找到任何关于这个系统的实际实现的文档。
非常感谢任何帮助和/或反馈。
问候,
克莱顿