1

作为一个 linux 菜鸟,我最近设置了 spark 和 Shark 来玩。我想使用一个 API sql2rdd 将数据从鲨鱼拉到 rdd。但是,我不知道 sql2rdd 库在哪里以及如何与 Spark Interactive Shell 链接。我在网上某处读到,Shark API 需要在没有任何说明的情况下进入 Spark 目录。如果有人知道,请指教。提前致谢。

4

1 回答 1

0

进入鲨鱼安装目录。以及以下内容:

Step 1: ./bin/shark-shell

Step 2: val testRdd = sc.sql2rdd("select * from temp") // sc - SharkContext in shark-shell

Step 3: Now if you do an action, "testRdd.count" you can view the number of 
        records
于 2014-03-15T10:20:41.330 回答