Cloudera默认值是提供Spark1.6的安装,下面介绍如何来安装spark2.1
3. 在cloudera parcels目录下(推荐目录/opt/cloudera)下面的csd文件中copy一下csd包
4. 在cloudera parcels目录下parcels-repo文件夹下拷贝parcels文件;
5. 进入cloudera管理页面,Hosts->Parcles,点击check for new parcles按钮,可以自动探测到spark2的parcles;
6. 点击spark一行右侧的Distribute按钮(发布-拷贝到集群个台机器);完事后再点击一次该按钮(激活-启动;此时按钮显示为Activate);
7. 此时addService还是不行,需要重启一下scm服务,重启服务的目的是能够重新读取一下csd文件夹下的内容,否则无法在add service的列表中看到spark2;然后在add Service的界面将会看到Spark2的安装选项;红字告知CDH默认并不带有此;但是我们已经通过自定义添加Spark2的Parcel了。
完事
cloudera上面安装Spark2.0
原文:http://www.cnblogs.com/xiashiwendao/p/7612999.html