15

我正在尝试在 Android 上开发人脸识别应用程序,并且由于我不想在项目中使用 NDK(只是没有时间切换),因此我坚持使用 Java 开发整个应用程序我遇到了一些问题:

  1. 似乎 Contrib 模块不包含在 OpenCV 2.4.2 中。无论如何在项目中使用它?

  2. 我尝试使用 JavaCV 来使用 Contrib 模块的“FaceRecognizer”类。有两个类可用,称为“FaceRecognizer”和“FaceRecognizerPtr”。有人知道这两者有什么区别吗?

  3. 上面提到的类有一个名为“Train”的方法,它(在 C++ 中)接收两个类型为“Mat & Integer”(model->train(images,labels) & train(Vector<mat> theImages, Vector<int> theLabels)的向量。我尝试ArrayList<mat> & ArrayList<integer>在 Java 中传递它们和向量,但似乎该方法明确接受了我不确定如何获取的“CvArr”数据类型......这是错误:

opencv_contrib.FaceRecognizer 类型中的方法 train(opencv_core.CvArr, opencv_core.CvArr) 不适用于参数 (ArrayList, ArrayList)

有谁知道如何将我的 ArrayList 更改为 CvArr ?!

这是我的第一篇文章,我不确定是在一篇文章中提出所有三个问题还是在三个文章中提出所有三个问题,因此对给您带来的不便深表歉意……如果您需要有关该项目的任何其他信息,请随时提出。

4

2 回答 2

15

更新

以下文章由Petter Christian Bjelland撰写,因此所有功劳归他所有。我把它贴在这里,因为他的博客目前似乎处于维护模式,但我认为值得分享。

使用 JavaCV 进行人脸识别(来自http://pcbje.com

我找不到任何关于如何使用 OpenCV 和 Java 进行人脸识别的教程,所以我决定在这里分享一个可行的解决方案。该解决方案在当前形式下效率非常低,因为每次运行都会构建训练模型,但它显示了使其工作所需的内容。

下面的类有两个参数:包含训练人脸的目录的路径和要分类的图像的路径。并非所有图像都必须具有相同的大小,并且必须从原始图像中裁剪出人脸(如果您还没有进行人脸检测,请看这里)。

为简单起见,该课程还要求训练图像具有文件名格式:<label>-rest_of_filename.png. 例如:

1-jon_doe_1.png
1-jon_doe_2.png
2-jane_doe_1.png
2-jane_doe_2.png

... 等等。

编码:

import com.googlecode.javacv.cpp.opencv_core;
import static com.googlecode.javacv.cpp.opencv_highgui.*;
import static com.googlecode.javacv.cpp.opencv_core.*;
import static com.googlecode.javacv.cpp.opencv_imgproc.*;
import static com.googlecode.javacv.cpp.opencv_contrib.*;
import java.io.File;
import java.io.FilenameFilter;

public class OpenCVFaceRecognizer {
  public static void main(String[] args) {
    String trainingDir = args[0];
    IplImage testImage = cvLoadImage(args[1]);

    File root = new File(trainingDir);

    FilenameFilter pngFilter = new FilenameFilter() {
      public boolean accept(File dir, String name) {
        return name.toLowerCase().endsWith(".png");
      }
    };

    File[] imageFiles = root.listFiles(pngFilter);

    MatVector images = new MatVector(imageFiles.length);

    int[] labels = new int[imageFiles.length];

    int counter = 0;
    int label;

    IplImage img;
    IplImage grayImg;

    for (File image : imageFiles) {
      // Get image and label:
      img = cvLoadImage(image.getAbsolutePath());
      label = Integer.parseInt(image.getName().split("\\-")[0]);
      // Convert image to grayscale:
      grayImg = IplImage.create(img.width(), img.height(), IPL_DEPTH_8U, 1);
      cvCvtColor(img, grayImg, CV_BGR2GRAY);
      // Append it in the image list:
      images.put(counter, grayImg);
      // And in the labels list:
      labels[counter] = label;
      // Increase counter for next image:
      counter++;
    }

    FaceRecognizer faceRecognizer = createFisherFaceRecognizer();
    // FaceRecognizer faceRecognizer = createEigenFaceRecognizer();
    // FaceRecognizer faceRecognizer = createLBPHFaceRecognizer()

    faceRecognizer.train(images, labels);

    // Load the test image:
    IplImage greyTestImage = IplImage.create(testImage.width(), testImage.height(), IPL_DEPTH_8U, 1);
    cvCvtColor(testImage, greyTestImage, CV_BGR2GRAY);

    // And get a prediction:
    int predictedLabel = faceRecognizer.predict(greyTestImage);
    System.out.println("Predicted label: " + predictedLabel);
  }
}

该类需要 OpenCV Java 接口。如果您使用的是 Maven,则可以使用以下 pom.xml 检索所需的库:

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.pcbje</groupId>
  <artifactId>opencvfacerecognizer</artifactId>
  <version>0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>opencvfacerecognizer</name>
  <url>http://pcbje.com</url>

  <dependencies>
    <dependency>
      <groupId>com.googlecode.javacv</groupId>
      <artifactId>javacv</artifactId>
      <version>0.3</version>
    </dependency>

    <!-- For Linux x64 environments -->
    <dependency>
      <groupId>com.googlecode.javacv</groupId>
      <artifactId>javacv</artifactId>
      <classifier>linux-x86_64</classifier>
      <version>0.3</version>
    </dependency>    

    <!-- For OSX environments -->
    <dependency>
      <groupId>com.googlecode.javacv</groupId>
      <artifactId>javacv</artifactId>
      <classifier>macosx-x86_64</classifier>
      <version>0.3</version>
    </dependency>
  </dependencies>

  <repositories>
    <repository>
      <id>javacv</id>
      <name>JavaCV</name>
      <url>http://maven2.javacv.googlecode.com/git/</url>
    </repository>
  </repositories>
</project>

原帖

引用我对http://answers.opencv.org/question/865/the-contrib-module-problem的回复。

在没有使用过 javacv 的情况下,让我们看看只看接口可以走多远!该项目位于 googlecode 上,可以轻松浏览代码:http ://code.google.com/p/javacv 。

首先看看是如何cv::FaceRecognizer被包装的(opencv_contrib.java,写这篇文章时的第 845 行):

@Namespace("cv") public static class FaceRecognizer extends Algorithm {
    static { Loader.load(); }
    public FaceRecognizer() { }
    public FaceRecognizer(Pointer p) { super(p); }

    public /*abstract*/ native void train(@ByRef MatVector src, @Adapter("ArrayAdapter") CvArr labels);
    public /*abstract*/ native int predict(@Adapter("ArrayAdapter") CvArr src);
    public /*abstract*/ native void predict(@Adapter("ArrayAdapter") CvArr src, @ByRef int[] label, @ByRef double[] dist);
    public native void save(String filename);
    public native void load(String filename);
    public native void save(@Adapter("FileStorageAdapter") CvFileStorage fs);
    public native void load(@Adapter("FileStorageAdapter") CvFileStorage fs);
}

啊哈,所以你需要MatVector为图像传递一个!CvArr您可以在(一行或一列)中传递标签。MatVector定义在opencv_core第4629 行(在撰写本文时),它看起来像这样:

public static class MatVector extends Pointer {
    static { load(); }
    public MatVector()       { allocate();  }
    public MatVector(long n) { allocate(n); }
    public MatVector(Pointer p) { super(p); }
    private native void allocate();
    private native void allocate(@Cast("size_t") long n);

    public native long size();
    public native void resize(@Cast("size_t") long n);

    @Index @ValueGetter public native @Adapter("MatAdapter") CvMat getCvMat(@Cast("size_t") long i);
    @Index @ValueGetter public native @Adapter("MatAdapter") CvMatND getCvMatND(@Cast("size_t") long i);
    @Index @ValueGetter public native @Adapter("MatAdapter") IplImage getIplImage(@Cast("size_t") long i);
    @Index @ValueSetter public native MatVector put(@Cast("size_t") long i, @Adapter("MatAdapter") CvArr value);
}

再次仅通过查看代码,我想它可以像这样使用:

int numberOfImages = 10;
// Allocate some memory:
MatVector images = new MatVector(numberOfImages);
// Then fill the MatVector, you probably want to do something useful instead:
for(int idx = 0; idx < numberOfImages; idx++){
   // Load an image:
   CvArr image = cvLoadImage("/path/to/your/image");
   // And put it into the MatVector:
   images.put(idx, image);
}

您可能想为自己编写一个从 Java 转换为 a 的方法ArrayListMatVector如果 javacv 中尚不存在这样的函数)。

现在回答你的第二个问题。FaceRecognizer相当于cv::FaceRecognizer。本机 OpenCV C++ 类返回 a cv::Ptr<cv::FaceRecognizer>,它是指向 a 的(智能)指针cv::FaceRecognizer。这也必须包装。在这里看到一个模式?

现在的界面是FaceRecognizerPtr这样的:

@Name("cv::Ptr<cv::FaceRecognizer>")
public static class FaceRecognizerPtr extends Pointer {
    static { load(); }
    public FaceRecognizerPtr()       { allocate();  }
    public FaceRecognizerPtr(Pointer p) { super(p); }
    private native void allocate();

    public native FaceRecognizer get();
    public native FaceRecognizerPtr put(FaceRecognizer value);
}

所以你可以FaceRecognizer从这门课中得到一个或投入FaceRecognizer。您应该只关心, 因为指针由创建具体算法get()的方法填充:FaceRecognizer

@Namespace("cv") public static native @ByVal FaceRecognizerPtr createEigenFaceRecognizer(int num_components/*=0*/, double threshold/*=DBL_MAX*/);
@Namespace("cv") public static native @ByVal FaceRecognizerPtr createFisherFaceRecognizer(int num_components/*=0*/, double threshold/*=DBL_MAX*/);
@Namespace("cv") public static native @ByVal FaceRecognizerPtr createLBPHFaceRecognizer(int radius/*=1*/,
        int neighbors/*=8*/, int grid_x/*=8*/, int grid_y/*=8*/, double threshold/*=DBL_MAX*/);

因此,一旦您拥有 FaceRecognizerPtr,您就可以执行以下操作:

// Holds your training data and labels:
MatVector images;
CvArr labels;
// Do something with the images and labels... Probably fill them?
// ...
// Then get a Pointer to a FaceRecognizer (FaceRecognizerPtr).
// Java doesn't have default parameters, so you have to add some yourself,
// if you pass 0 as num_components to the EigenFaceRecognizer, the number of
// components is determined by the data, for the threshold use the maximum possible
// value if you don't want one. I don't know the constant in Java:
FaceRecognizerPtr model = createEigenFaceRecognizer(0, 10000);
// Then train it. See how I call get(), to get the FaceRecognizer inside the FaceRecognizerPtr:
model.get().train(images, labels);

这会学习一个特征脸模型。就是这样!

于 2012-07-28T11:35:56.593 回答
4

我使用opencv制作了一个用于人脸识别的android应用程序。为了获得良好的识别,您需要更好的检测,您可以从以下网址查看:https ://github.com/yaylas/AndroidFaceRecognizer 我希望它有所帮助。

于 2014-06-17T21:13:48.860 回答