Azkaban任务调度

安装Azkaban

准备安装包

将安装包解压

tar -zxvf azkaban-web-server-2.5.0.tar.gz
tar -zxvf azkaban-sql-script-2.5.0.tar.gz 
tar -zxvf azkaban-executor-server-2.5.0.tar.gz
mv azkaban-web-2.5.0/ /usr/local/azkaban-web
mv azkaban-executor-2.5.0/ /usr/local/azkaban-executor

创建mysql用户

mysql -u root -p
create database azkaban;
grant all on azkaban.* to azkaban@'localhost' identified by 'azkaban';
grant all on azkaban.* to azkaban@'%' identified by 'azkaban';
flush privileges;
use azkaban
source /root/azkaban-2.5.0/create-all-sql-2.5.0.sql;

创建证书

keytool -keystore keystore -alias jetty -genkey -keyalg RSA
#都默认吧，记住自己的密码
mv keystore /usr/local/azkaban-web/
#放到web应用里
vi conf/azkaban.properties
#修改以下数据
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore
jetty.password=azkaban
jetty.keypassword=azkaban
jetty.truststore=keystore
jetty.trustpassword=azkaban

编辑executor配置

cd azkaban-executor/
vi conf/azkaban.properties

database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

cd /usr/local/azkaban-web/
vi conf/azkaban-users.xml 

<azkaban-users>
        <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
        <user username="metrics" password="metrics" roles="metrics"/>
        <user username="admin" password="admin" roles="admin,metrics"/>
        <role name="admin" permissions="ADMIN" />
        <role name="metrics" permissions="METRICS"/>
</azkaban-users>

启动应用

cd /usr/local/azkaban-executor/
bin/azkaban-executor-start.sh
cd /usr/local/azkaban-web/
bin/azkaban-web-start.sh 
#注意先启动executor，再启动webserver，避免出错

访问网页
https://yourhost:8443

admin登陆

Azkaban使用方法

编写Hive作业并使用azkaban运行
为了让azkaban支持Hive作业，需要使用jobtype插件，将下载好的压缩包解压至azkaban-executor/plugins/目录下

cd /usr/local/azkaban-executor/plugins/
tar -zxvf azkaban-jobtype-2.5.0.tar.gz
cd azkaban-jobtype-2.5.0
vi common.properties
#添加hadoop和hive家目录

编写hiveCount脚本以及job文件

vi hiveCount.sh
#!/bin/bash
hive -e "select count(distinct uid) from sogou.sogou_500w"
vi hiveCount.job
type=command
command=bash hiveCount.sh

将编写好的两个文件打包成zip并上传web界面

运行结束