首页 > 其他 > 详细

hadoop 批量处理脚本编写

时间:2019-09-09 22:33:54      阅读:92      评论:0      收藏:0      [点我收藏+]

编写shell脚本就是解决批量处理

1. 在/usr/local/bin 创建脚本 并授权所有用户 chmod a+x  xcall.sh

  xcall.sh

技术分享图片

 

 技术分享图片

 

 技术分享图片

 

 

比如:删除/tmp/*所有文件   批量删除4台服务器的/tmp/*所有文件

  xcall.sh rm -rf /tmp/*

技术分享图片

 

 

 

2 rsync 远程同步 速度快

 

四个机器均安装rsync命令。 s129 s128 s127 s126
远程同步.
$>sudo yum install rsync 或 yum install rsync 

技术分享图片

 

 

 

rsync -lr 赋值链接(包括符号链接)

 

远程同步,支持符号链接。
rsync -lr xxx xxx

 

技术分享图片

 

 

 

权限配置

ssh权限问题
----------------
1.~/.ssh/authorized_keys
  644
2.$/.ssh
  700
3.root

技术分享图片

 

hadoop 批量处理脚本编写

原文:https://www.cnblogs.com/YuanWeiBlogger/p/11494476.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!