想直接读取本地文件,比如
val raw= sc.textFile("//Users/muller/Desktop/people.json")
对不起 ,是要报错的,如果本地没有安装hadoop的话,报连接被拒绝
这个 由于本机已经安装了Hadoop,使用的是伪分布式模式,所以Spark会读取Hadoop的配置信息.
我们这里先不启动Hadoop,使用本地模式,要手动添加file:///并使用绝对路径读取文本文件
所以使用这种方式的话,就可以了
想直接读取本地文件,比如
val raw= sc.textFile("//Users/muller/Desktop/people.json")
对不起 ,是要报错的,如果本地没有安装hadoop的话,报连接被拒绝
这个 由于本机已经安装了Hadoop,使用的是伪分布式模式,所以Spark会读取Hadoop的配置信息.
我们这里先不启动Hadoop,使用本地模式,要手动添加file:///并使用绝对路径读取文本文件
所以使用这种方式的话,就可以了