我正在寻找 numexpr 和 PyTables 的 Scala 或 Java 类似物(尤其是 tables.Expr)。这适用于需要对内存不足的数据执行矩阵运算的多核机器上的多核分析系统。特别是这些库应该优化磁盘、内存、缓存和 CPU 之间的数据移动。应该有效地处理稀疏矩阵。有关图书馆应解决哪些问题的更多背景信息,请参阅http://www.youtube.com/watch?v=J3-oN_TulTg和https://www.google.com/search?q=alted 的热门搜索+cpu+饥饿。
虽然这个问题表面上与Scala 等同于 pyTables? 该问题没有指定 pytables 的哪些方面很重要,并且那里的答案不适合我的问题。
处理缓存感知和缓存遗忘算法的 OTOH 库可能会有所帮助。
我想“Scala Virtualized”(又名语言虚拟化)和 Stanford-PPL Delite 框架可以作为在 Scala 中构建我所需要的东西的良好基础,如果我正在寻找的东西还不存在的话。
Hadoop、MapReduce、图形数据库和大多数流行的 nosql 存储都不是我想要的。虽然我正在寻找的是技术上的一种 nosql 存储。