首页 > 数据库技术 > 详细

sqoop从hdfs导出到mysql

时间:2014-07-28 14:47:33      阅读:369      评论:0      收藏:0      [点我收藏+]

create database logs;

use logs

create table weblogs_from_hdfs(
 md5 varchar(32),
 url varchar(64),
 request_date date,
 request_time time,
 ip varchar(15)
);

sqoop export -m 1 --connect jdbc:mysql://hadoop:3306/logs --username root --password root --table weblogs_from_hdfs --export-dir /data/weblogs/import --input-fields-terminated-by ‘\t‘
对于通过sqoop导入的数据为NULL的在导出到数据库中时依然保持为NULL.即使在文件中保存为字符串为‘null‘。
sqoop默认为insert 插入新的语句
--update-key ‘md5‘  则将创建更新语句,update ....where md5 = ‘.......‘
如果--update-key ‘md5‘ 设置的值没有找到,可以设置--update-mode allowinsert 允许新增这行数据

每个mapper默认默认插入1000条记录,然后提交事务,若mapper失败,可能出现插入冲突或者插入重复数据,可以通过一个临时表--staging-table temptableName,等一个事务完成再将数据复制到--table指定的表中,临时表结构必须与最终表一致
 create table temp_table as select * from real_table where 1=0;
 临时表必须为空表,否侧必须配置参数--clear-staging-table 在插入数据前清空临时表


 

sqoop从hdfs导出到mysql,布布扣,bubuko.com

sqoop从hdfs导出到mysql

原文:http://www.cnblogs.com/jsunday/p/3872793.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!