首页 > 其他 > 详细

hadoop 原生MapReduce 实现数据连接

时间:2014-10-20 02:14:49      阅读:305      评论:0      收藏:0      [点我收藏+]

业务逻辑

 其实很简单,输入两个文件,一个作为基础数据(学生信息文件),一个是分数信息文件。
学生信息文件:存放学生数据:包括学号,学生名称

分数信息数据:存放学生的分数信息:包括学号,学科,分数。

我们将通过M/R实现根据学号,进行数据关联,最终结果为:学生名称,学科,分数。

模拟数据

学生数据

[hadoop@hadoop11 student_data]$ cat students.txt
1       Randy
2       Tom
3       kitty
4       Lucy
5       Lily
6       Bruce
7       King
8       Jay
9       Melody
10      Kimy
/////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

分数数据

[hadoop@hadoop11 student_data]$ cat scores.txt
1       English 89
2       English 77
3       English 54
4       English 98
5       English 83
6       English 99
7       English 30
8       English 76
9       English 56
10      English 88
1       Math    79
2       Math    37
3       Math    65
4       Math    88
5       Math    89
6       Math    59
7       Math    60
8       Math    86
9       Math    56
10      Math    68
1       China   89
2       China   67
3       China   84
4       China   68
5       China   43
6       China   89
7       China   70
8       China   96
9       China   56
10      China   78
///////////////////////////////////////////////////////////////////////////////////////////////////////

实现

1)两个文本解析器,分别解析两个文本文件。

 

本文出自 “简单” 博客,请务必保留此出处http://dba10g.blog.51cto.com/764602/1565697

hadoop 原生MapReduce 实现数据连接

原文:http://dba10g.blog.51cto.com/764602/1565697

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!