javascript - 用于 tsv/csv 数据的 JS 数据分析库

Question

我正在处理的数据存储在 1 到 60-50 MB 的文件中。我有兴趣以表格形式显示这些数据并运行一些基本的聚合统计信息，就像使用 SQL 或 R 一样。

我自然可以在后端使用 SQL 来执行此操作，但我很想知道是否有任何类型的 JavaScript 库可以让我从浏览器（或节点服务器）进行选择、平均、计数等不需要拥有完整的数据库后端。

请指教。

Answer 1

也许你可以看看这个：https ://github.com/aaronsnoswell/csvjson.js

然后显示它，我知道的最简单的方法是来自 angularJS 的“ng-repeat”：http://docs.angularjs.org/api/ng.directive: ngRepeat

而对于统计部分： http: //www.jstat.org/

Answer 2

经过一番研究，我找到了自己问题的答案。
我在这里发帖是因为其他一些人可能会觉得它很有用。

我正在寻找使用味噌图书馆。看看API。它看起来非常有用。这是另一篇博客文章，展示了如何将它与 Node 和 CouchDB 一起使用。

Answer 3

对于数据处理，您可以使用Alasql JavaScript SQL 库来完成。它实现了所有重要的 SQL 功能，而且您可以编写自己的函数。它还可以将 TSV 数据直接导入 SELECT 语句。Alasql 可以与d3.js或其他可视化工具包一起使用。

这是使用 SQL 的 SELECT 和用户定义函数从 TSV 数据文件处理数据的示例：

alasql.fn.myFunc = function(z) {
    return z*z*z;
}
var res = alasql('SELECT SUM(x), AVG(y) FROM TSV("mydata.tsv",{headers:true}) \
    WHERE myFunc(z) > 1000');

由于您的文件很大，最好使用 Node.js 而不是浏览器。