首页 > 其他 > 详细

自己的简单数据分析流程

时间:2018-07-27 23:37:01      阅读:163      评论:0      收藏:0      [点我收藏+]

1.八爪鱼,抓取数据

2.八爪鱼数据导入mysql(navicat连的虚拟机上的),表为an

3.给定mysql的表an自增id

4.开启hadoop,yarn,

5.利用sqoop导入mysql的表an
sqoop import --connect jdbc:mysql://192.168.218.134:3306/spark
--username root --password 111 --query "select *from an where id>‘0‘
and \$CONDITIONS" --target-dir /user/root-sqoop2 --direct --m 1

6.查询是否导入成功
hdfs dfs -cat /user/root-sqoop2/part-m-00000

7.

自己的简单数据分析流程

原文:https://www.cnblogs.com/acg88688/p/9380166.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!