hadoop - 是否可以在 Erlang 中执行任意数据分析？

Question

我想回答有关 Erlang 中数据的问题：计数、关联消息、提供任意统计信息。我曾考虑过为此求助于 Hadoop，但是是否有可能在原始 Erlang 中构建一个解决方案来进行相当任意的数据分析，不一定通过 map/reduce 而是以某种方式？我已经看到有人这样做的一些提示，但没有明确的博客文章或这样做的示例。我知道 Powerset 的自然语言功能是用 Erlang 编写的。我也知道 CouchDB，但一直在寻找其他解决方案。

Answer 1

是的。

对于通用计算和统计，Erlang 工作得很好。它没有针对此类工作进行大量优化，因此它很难跟上类似的数字代码，比如 MatLab、ForTran 或任何用于这项工作的主要 C 包——但对于大多数用途来说，它会做得很好。当然，如果你的代码并行化得很好，并且你有多个可用的 CPU，Erlang 会更容易赶上。

（您还提到了 map/reduce 模式；考虑到 Erlang/OTP 运行时和库，它相对微不足道。）

我和我的同事已经写了很多“原始”的 Erlang 来做计数、统计等等。我们发现它对于大多数任务来说绰绰有余。

Answer 2

为什么不？

毕竟，Erlang 是图灵完备的。

更好地解释你的用例，你会得到更好的答复。