oozie笔记

1.下载
https://mirrors.tuna.tsinghua.edu.cn/apache/
oozie-4.3.1.tar.gz
注意：一开始下载的5.1.0版本，安装完成后，web服务后台报错，应该是版本的问题。
hadoop用的apache hadoop2.7.7

2.解压
tar -zxf oozie-4.3.1.tar.gz

3.安装maven
https://maven.apache.org/download.cgi?Preferred=http%3A%2F%2Fmirrors.tuna.tsinghua.edu.cn%2Fapache%2F
apache-maven-3.6.3-bin.tar.gz
设置环境变量

4.编译ooize
cd oozie-4.3.1
mvn clean test -X
./bin/mkdistro.sh -DskipTests -Puber -Dhadoop.version=2.7.7 -Dhadoop.auth.version=2.7.7 -X
编译时间比较长，编译完后在oozie-4.3.1/distro/target/目录中生成
oozie-4.3.1-distro.tar.gz

5.配置hadoop
===>core-site.xml添加
    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>
===>mapred-site.xml添加
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop01:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop02:19888</value>
    </property>
===>yarn-site.xml添加
   <property> 
        <name>yarn.log.server.url</name> 
        <value>http://hadoop02:19888/jobhistory/logs/</value> 
    </property>
将上面的配置scp到每台节点上

6.不用重启hdfs和yarn更新配置文件的命令
hdfs dfsadmin -refreshSuperUserGroupsConfiguration
yarn rmadmin -refreshSuperUserGroupsConfiguration
启动jobhistory
sbin/mr-jobhistory-daemon.sh start historyserver

7.拷贝oozie-4.3.1-distro.tar.gz
tar -zxf oozie-4.3.1-distro.tar.gz -C /home/hadoop
cd  oozie-4.3.1
mkdir libext
cd libext
find /home/hadoop/hadoop-2.7.7/share/hadoop/ -name ‘*.jar‘ -exec cp {} . \;
rm -rf jsp-api-2.1.jar
下载http://archive.cloudera.com/gplextras/misc/ext-2.2.zip

8.配置oozie的mysql数据库信息
===>oozie-4.3.1/conf/oozie-site.xml
    <property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>a</description>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://192.168.15.45:3307/oozie</value>
        <description>b</description>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>root</value>
        <description>c</description>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>root</value>
        <description>d</description>
    </property>
    <property>
        <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
        <value>*=/home/hadoop/hadoop-2.7.7/etc/hadoop/</value>
        <description>e</description>
    </property>


9.数据库初始化
现在mysql中创建好数据库oozie
在oozie-4.3.1目录下执行
bin/ooziedb.sh create -sqlfile oozie.sql -run
当前目录下生成一个oozie.sql文件

10.初始化oozie
上次oozie-4.3.1目录下面的oozie-sharelib-4.3.1.tar.gz到hdfs
bin/oozie-setup.sh sharelib create -fs hdfs://hadoop01:9000 -locallib oozie-sharelib-4.3.1.tar.gz 

11.打包项目，生成war包（报错没有安装zip）
bin/oozie-setup.sh prepare-war

12.启动命令
bin/oozied.sh run 或者 bin/oozied.sh start
停止命令 bin/oozied.sh stop

13.验证命令
bin/oozie admin -oozie http://localhost:11000/oozie -status