任何人都知道存储和可视化具有数百万条边的大型图的最有效方法吗?
我知道格菲。但是它无法可视化这么大的数据集。(至少在我的笔记本电脑有4G内存。它总是崩溃或内存不足。)有没有其他软件可以处理它?或者可能还有其他关于 Gephi 的技巧来可视化这样一个大数据集。
我使用 Python 库 NetworkX 来处理图形,效果很好。但是存储图表是另一个问题。到目前为止,我使用文本文件和二进制文件 pickle 来存储图形。没事。但我的研究还涉及到节点对之间的计算,可能高达1亿对。计算它们需要时间,但存储和查询它们似乎需要更多时间。我尝试了传统的数据库,比如 Postgre,但是存储和查询都很慢。我还尝试了一个 NoSQL db,Neo4j,它用于存储图形数据,但是将整个图形和计算结果转储到其中非常慢。存储 2/5 的数据大约需要 20 小时,然后我不知从哪里得到了一个错误。有人可以推荐我一些其他强大的工具来摆脱这个吗?
另外,我的老板让我在图表上构建我的研究结果的在线可视化版本。从图上之前的经验来看,我觉得普通的js库是做不到这么大的数据集的。我知道我确实需要为可视化和交互构建一些数据层次结构,但是我应该采用什么样的架构或框架,从数据库到浏览器端库?
PS我不是一个原始的计算机科学人,所以我对这些技术的了解是有限的,滥用术语可能是不可避免的。
欢迎任何建议。