hadoop - 如何使用 graphLoader 将数据从 hadoop 加载到 datastax 图？（如何使用graphLoader直接从hadoop读取文件）

Question

我是否必须将文件从 hadoop 复制到本地目录：

hadoop fs -get [hadoop src] [本地dst]

为了使用：

https://docs.datastax.com/en/datastax_enterprise/5.0/datastax_enterprise/graph/dgl/dglCSV.html

Answer 1

不，您不必将数据复制到本地系统。您可以直接引用 HDFS 上的文件并从那里读入。

    def source = File.csv(dfs_uri + "person.csv.gz").gzip().delimiter("|")
    load(source).asVertices {
        label vertexLabel
        key "id"
    }

这是一个映射脚本示例，其中从 HDFS 读取压缩的 csv 文件。'dfs_uri' 是一个命令行参数，它指定存储文件的 HDFS 目录的 URI。