Spark 伪分布式安装

下载安装文件

wget http://ftp.cuhk.edu.hk/pub/packages/apache.org/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz

解压文件

tar -xzvf spark-2.3.1-bin-hadoop2.7.tgztar -xzvf cdh5.15.0-release
mv spark-2.3.1-bin-hadoop2.7 /etc/spark

进入spark配置目录

cd /etc/spark/conf/
cp spark-env.sh.template spark-env.sh

编辑 spark-env.sh

vi spark-env.sh

在最后添加

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk.x86_64
export SPARK_MASTER_HOST=192.168.101.15
export SPARK_MASTER_PORT=7077

保存

执行以下命令

cp slaves.template slaves
vi slaves

将最下面的localhost更改为ip地址

进入sbin目录，执行

./start-all.sh

启动Spark

通过 http://192.168.101.15:8080/ 访问管理站点

请记得打开防火墙

RuiJi 社区