6

我目前在 Windows 8.1 上使用 Microsoft Kinect for Windows SDK 2 进行编程。一切进展顺利，在家庭开发环境中，与“现实世界”相比，背景显然没有太多噪音。

我想向那些在使用 Kinect 的“现实世界”应用程序方面有经验的人寻求一些建议。Kinect（尤其是 v2）在有路人、旁观者和意想不到的物体的现场环境中表现如何？我确实希望，在从 Kinect 传感器到用户的空间中，通常不会有干扰——我现在非常注意的是背景噪音。

虽然我知道 Kinect 在阳光直射下（传感器或用户）无法很好地跟踪 - 是否有某些照明条件或其他外部因素需要我考虑到代码中？

我正在寻找的答案是：

  1. 生活环境中会出现哪些问题？
  2. 你是如何编码或解决它的？
4

2 回答 2

5

Outlaw Lemur 详细描述了您在现实世界场景中可能遇到的大多数问题。

使用 Kinect for Windows 版本 2，您无需调整电机，因为没有电机且传感器具有更大的视野。这将使您的生活更轻松。

我想添加以下提示和建议：

1) 避免直射光（物理或内部照明）

Kinect 有一个可能会混淆的红外传感器。该传感器不应与任何光源直接接触。您可以通过使用普通的激光笔和手电筒在家里/办公室模拟这样的环境。

2）如果您只跟踪一个人，请选择最近的跟踪用户

如果您的应用程序只需要一个玩家，则该玩家需要 a) 完全跟踪 b) 比其他玩家更靠近传感器。这是一种让参与者了解谁被跟踪而不会使您的 UI 更复杂的简单方法。

    public static Body Default(this IEnumerable<Body> bodies)
    {
        Body result = null;
        double closestBodyDistance = double.MaxValue;

        foreach (var body in bodies)
        {
            if (body.IsTracked)
            {
                var position = body.Joints[JointType.SpineBase].Position;
                var distance = position.Length();

                if (result == null || distance < closestBodyDistance)
                {
                    result = body;
                    closestBodyDistance = distance;
                }
            }
        }

        return result;
    }

3) 使用追踪ID区分不同的玩家

每个玩家都有一个 TrackingID 属性。当玩家干扰或在随机位置移动时使用该属性。但是，不要使用该属性作为人脸识别的替代品。

    ulong _trackinfID1 = 0;
    ulong _trackingID2 = 0;

    void BodyReader_FrameArrived(object sender, BodyFrameArrivedEventArgs e)
    {
        using (var frame = e.FrameReference.AcquireFrame())
        {
            if (frame != null)
            {
                frame.GetAndRefreshBodyData(_bodies);

                var bodies = _bodies.Where(b => b.IsTracked).ToList();

                if (bodies != null && bodies.Count >= 2 && _trackinfID1 == 0 && _trackingID2 == 0)
                {
                    _trackinfID1 = bodies[0].TrackingId;
                    _trackingID2 = bodies[1].TrackingId;

                    // Alternatively, specidy body1 and body2 according to their distance from the sensor.
                }

                Body first = bodies.Where(b => b.TrackingId == _trackinfID1).FirstOrDefault();
                Body second = bodies.Where(b => b.TrackingId == _trackingID2).FirstOrDefault();

                if (first != null)
                {
                    // Do something...
                }

                if (second != null)
                {
                    // Do something...
                }
            }
        }
    }

4) 当玩家离传感器太远或太近时显示警告。

为了获得更高的准确性，玩家需要站在特定的距离：不要离传感器太远或太近。以下是如何检查：

const double MIN_DISTANCE = 1.0; // in meters
const double MAX_DISTANCE = 4.0; // in meters

double distance = body.Joints[JointType.SpineBase].Position.Z; // in meters, too

if (distance > MAX_DISTANCE)
{
    // Prompt the player to move closer.
}
else if (distance < MIN_DISTANCE)
{
    // Prompt the player to move farther.
}
else
{
    // Player is in the right distance.
}

5) 始终知道玩家何时进入或离开场景。

Vitruvius 提供了一种简单的方法来了解有人何时进入或离开现场。

这是源代码，这里是如何在您的应用程序中使用它：

    UsersController userReporter = new UsersController();
    userReporter.BodyEntered += UserReporter_BodyEntered;
    userReporter.BodyLeft += UserReporter_BodyLeft;
    userReporter.Start();

    void UserReporter_BodyEntered(object sender, UsersControllerEventArgs e)
    {
        // A new user has entered the scene. Get the ID from e param.
    }

    void UserReporter_BodyLeft(object sender, UsersControllerEventArgs e)
    {
        // A user has left the scene. Get the ID from e param.
    }

6）有一个视觉线索来跟踪哪个玩家

如果玩家周围有很多人，您可能需要在屏幕上显示被跟踪的人。您可以突出显示深度帧位图或使用 Microsoft 的 Kinect Interactions。

这是移除背景并仅保留玩家像素的示例。

7）避免光滑的地板

某些地板（明亮、有光泽）可能会镜像人，而 Kinect 可能会混淆他们的某些关节（例如，Kinect 可能会将您的腿伸到反射的身体上）。如果您无法避免光滑的地板，请使用 BodyFrame 的FloorClipPlane属性。但是，最好的解决方案是在您希望人们站立的地方铺一块简单的地毯。地毯还可以作为适当距离的指示，因此您可以提供更好的用户体验。

于 2015-01-13T13:33:40.143 回答
4

我像以前一样创建了一个供家庭使用的应用程序，然后在公共环境中展示了相同的应用程序。结果让我感到尴尬，因为在受控环境中我永远无法预料到许多错误。然而，这确实对我有所帮助，因为它让我对我的代码进行了一些有趣的调整，这些调整仅以人类检测为中心。

  1. 具备检验“人”有效性的条件。

    当我在演示地板中间展示我的应用程序以及许多其他物体和道具时，我发现即使是椅子也可能会在短时间内被误认为是人，这导致我的应用程序在用户和无生命物体之间切换，导致它失去对用户的跟踪并失去他们的进步。为了应对这种或其他误报的人类检测，我添加了我自己对人类的额外检查。我最成功的方法是比较人体的比例。我实现了这个以头部为单位测量的。（主机图片）下面是我如何做到这一点的代码（SDK 1.8 版，C#）

    bool PersonDetected = false;
double[] humanRatios = { 1.0f, 4.0, 2.33, 3.0 };
/*Array indexes
* 0 - Head (shoulder to head)
* 1 - Leg length (foot to knee to hip)
* 2 - Width (shoulder to shoulder center to shoulder)
* 3 - Torso (hips to shoulder)
*/

....

double[] currentRatios = new double[4];
double headSize = Distance(skeletons[0].Joints[JointType.ShoulderCenter], skeletons[0].Joints[JointType.Head]);

currentRatios[0] = 1.0f;

currentRatios[1] = (Distance(skeletons[0].Joints[JointType.FootLeft], skeletons[0].Joints[JointType.KneeLeft]) + Distance(skeletons[0].Joints[JointType.KneeLeft], skeletons[0].Joints[JointType.HipLeft])) / headSize;

currentRatios[2] = (Distance(skeletons[0].Joints[JointType.ShoulderLeft], skeletons[0].Joints[JointType.ShoulderCenter]) + Distance(skeletons[0].Joints[JointType.ShoulderCenter], skeletons[0].Joints[JointType.ShoulderRight])) / headSize;

currentRatios[3] = Distance(skeletons[0].Joints[JointType.HipCenter], skeletons[0].Joints[JointType.ShoulderCenter]) / headSize;

int correctProportions = 0;

for (int i = 1; i < currentRatios.Length; i++)
{
    diff = currentRatios[i] - humanRatios[i];

    if (abs(diff) <= MaximumDiff)//I used .2 for my MaximumDiff
        correctProportions++;
}

if (correctProportions >= 2)
    PersonDetected = true;

    我成功的另一种方法是找到关节距离之和彼此平方的平均值。我发现非人类检测具有更多可变的总和距离，而人类则更加一致。我使用一维支持向量机学习的平均值（我发现用户的总距离通常小于 9）

    //in AllFramesReady or SkeletalFrameReady
Skeleton data;

...

float lastPosX = 0; // trying to detect false-positives
float lastPosY = 0;
float lastPosZ = 0;
float diff = 0;
foreach (Joint joint in data.Joints)
{
    //add the distance squared
    diff += (joint.Position.X - lastPosX) * (joint.Position.X - lastPosX);
    diff += (joint.Position.Y - lastPosY) * (joint.Position.Y - lastPosY);
    diff += (joint.Position.Z - lastPosZ) * (joint.Position.Z - lastPosZ);
    lastPosX = joint.Position.X;
    lastPosY = joint.Position.Y;
    lastPosZ = joint.Position.Z;
}

if (diff < 9)//this is what my svm learned
    PersonDetected = true;

  2. 使用玩家 ID 和索引来记住谁是谁

    这与上一个问题有关，如果 Kinect 将它正在跟踪的两个用户切换到其他用户，那么我的应用程序会因为数据的突然变化而崩溃。为了解决这个问题，我会跟踪每个玩家的骨骼索引和他们的玩家 ID。要了解有关我如何做到这一点的更多信息，请参阅Kinect 用户检测。

  3. 添加可调整的参数以适应不同的情况

    在我展示的地方，相同的倾斜角度和其他基本 kinect 参数（如近模式）在新环境中不起作用。让用户能够调整其中的一些参数，以便他们能够为工作获得最佳设置。

  4. 期待人们做傻事

    下次我演示时，我的倾斜度可以调节，你可以猜到是否有人烧坏了 Kinect 的电机。任何能在 Kinect 上破解的东西，都会有人破解。在文档中留下警告是不够的。您应该在 Kinect 的硬件上添加警示性检查，以确保人们在无意中破坏某些东西时不会感到不安。这是一些检查用户在两分钟内是否使用电机超过 20 次的代码。

    int motorAdjustments = 0;
DateTime firstAdjustment;

... 

//in motor adjustment code
if (motorAdjustments == 0)
    firstAdjustment = DateTime.Now;
++motorAdjustments;

if (motorAdjustments < 20)
{
    //adjust the tilt
}

else
{
    DateTime timeCheck = firstAdjustment;

    if (DateTime.Now > timeCheck.AddMinutes(2))
    {
        //reset all variables
        motorAdjustments = 1;
        firstAdjustment = DateTime.Now;

        //adjust the tilt
    }
}

    我会注意到所有这些对我来说都是第一个版本的 Kinect 的问题，我不知道有多少问题在第二个版本中得到了解决，因为遗憾的是我还没有动手。但是，如果不是备用技术，我仍然会实施其中一些技术，因为会有例外，尤其是在计算机视觉方面。

于 2015-01-11T03:22:16.957 回答