我有存储在 Hbase 中的键/值我可以使用 GRaphX 将这些键值对转换为图形,例如所有键,列限定符作为 - > 节点,而所有值 - > 作为连接节点的边的属性?
任何指针都会有很大帮助
我有存储在 Hbase 中的键/值我可以使用 GRaphX 将这些键值对转换为图形,例如所有键,列限定符作为 - > 节点,而所有值 - > 作为连接节点的边的属性?
任何指针都会有很大帮助
考虑使用apache phoenix而不是原始 hbase api,它是 hbase 的 sql 层/JDBC 驱动程序,然后您可以使用JdbcRDD将数据导入 spark,一旦加载,使用 Graphx 或 SchemaRDD
我无法回答您问题的 Hbase 部分。
但是您的问题的答案的 GraphX 部分是:请注意,VertexId 的类型必须是 Long。Edge 至少由连接源顶点和目标顶点的两个 Long 值组成。
字符串不能用作 VertexId。将字符串用作 VertexIds 是 Apache Spark 开发人员社区中的一项功能请求:https ://issues.apache.org/jira/browse/SPARK-3799