crowdsourcing - 如何确保通过众包收集的数据的正确性？

Question

我有一个网站，用户正在输入他们购买的某些产品的数据。

如何确保通过众包（使用户能够投票/编辑产品）输入的数据的正确性，最大限度地减少管理员需要完成的工作量？我正在寻找一些方法、最佳实践等。

Answer 1

你在收集什么样的数据？

你说的是众包，因此（我假设）在这群人中聚合数据。当他们谈论他们购买的产品时，我怀疑你会混淆产品属性和价格。

一些可能的方法。如果您的用户正在输入非数字数据（例如颜色），只需记录最常见的条目或模式（最常输入的）。

如果他们正在输入数字数据，请丢弃异常值。即，将最低和最高结果分箱，并对其余结果进行平均（例如，您可以对价格进行此操作。这是电子交易所用于解决许多交易的收盘价的方法）。

根据您的应用程序，您可能希望对最近的条目有历史偏见。

但这一切都取决于您的应用程序，以及您准备进行多少存储和处理数据。

Answer 2

确保在每次操作时记录 IP 地址，恶意用户或机器人会践踏会话数据或 cookie。这样做可以确保单个实体不会因​​为看起来是多个用户而歪曲任何结果或做任何剧烈的事情。

Answer 3

作为高级数据，可以从具有相关正确性值的“人群”中收集。看着 SO，来自拥有 1000 多个代表的人的回答或回应，比普通用户更重要。寻找验证和三角测量，如果你也在听人群中的一个单一的声音，那么它可能不值得那么多。如果其他声音加入，那么您知道您正在做某事，再次用 SO 术语来说，我们都有机会提出问题。

我最近看到了一些非常好的 iPhone 应用程序，它们依赖于众包来获取数据，然后通过询问其他用户是否正确来验证它。