首页 > 系统服务 > 详细

spark在eclipse下V2-02逐个运行spark-examples

时间:2017-11-07 18:50:39      阅读:291      评论:0      收藏:0      [点我收藏+]

逐个运行例子,查看结果

 

举例说明HADOOP_HOME环境变量

org.apache.spark.examples.sql.hive.JavaSparkHiveExample

修改Run Configuration,添加Env HADOOP_HOME=${HADOOP_HOME}

 

 

 

 

运行Java 类。hive例子用完,要删掉metastore_db目录。

 

下面用简单的方法逐个运行

eclipse ->File->Import->Run/Debug Launch Configuration

浏览到easy_dev_labs\runconfig目录。导入全部。

 

现在从Eclipse->Run->Run Configuration

 

 

 

从JavaConsumerReceiver开始,逐个往下运行。凡是没有写出来的,都是直接运行即可。

运行JavaconsumerReceiver前,先要运行SocketServer。

JavaDirectKafkaWordCount:先要运行KafkaSvr。 运行kfksvr后,去掉kafkamaven依赖,然后运行JavaDirectKafkaWordCount。做完这个例子后加上kafka到maven中。

 

JavaNetworkWordCount依赖SocketServer

 

JavaFlumeEventCount先运行,而后运行FlumeSvr。

此后SocketSvr,FlumeSvr,KafkaSvr都开着,无需关掉。

JavaKafkaWordCount依赖KafkaSvr。用原始pom文件即可。

 

JavaRecoverableNetworkWordCount依赖SocketServer

JavaSqlNetworkWordCount依赖SocketServer

 

 

随后可以看看这些例子的官方说明,了解例子中各个代码段的含义。

https://spark.apache.org/examples.html

spark在eclipse下V2-02逐个运行spark-examples

原文:http://www.cnblogs.com/wifi0/p/7800171.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!