storm环境搭建

Ubuntu14.04安装配置jdk1.8.0_31

• 第一步：下载jdk-8u31-linux-x64.tar.gz

  wget -c http://download.oracle.com/otn-pub/java/jdk/8u31-b13/jdk-8u31-linux-x64.tar.gz

  • (注：建议迅雷下载好后，直接拷贝到Linux系统上)

• 第二步：解压、安装

  sudo mkdir /usr/lib/jvm

  sudo tar zxvf jdk-8u31-linux-x64.tar.gz -C /usr/lib/jvm

• 第三步：修改环境变量

  sudo gedit /etc/profile

  添加

  #set java environment

  export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31

  export JRE_HOME=${JAVA_HOME}/jre

  export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

  export PATH=${JAVA_HOME}/bin:$PATH

  保存退出即可。

• 第四步：配置默认jdk版本
  为了将我们安装的jdk设置为默认jdk版本，还要进行如下工作：
  执行代码：

  sudo update-alternatives --install /usr/lib/java java /usr/lib/jvm/jdk1.8.0_31/bin/java 300

  sudo update-alternatives --install /usr/lib/javac javac /usr/lib/jvm/jdk1.8.0_31/bin/javac 300

  执行代码：

  sudo update-alternatives --config java

  系统会列出各种jdk版本，如下所示：

  There is only one alternatives in link group java (providing /usr/bin/java): /usr/lib/jvm/jdk1.8.0_31/bin/java

  Nothing to configure

  • (注：如果是第一次安装jdk，可以跳过此过程)

• 第五步：测试

  java -version

  显示以下信息，说明已经配置成功

  java version "1.8.0_31"

  java(TM) SE Runtime Envirment (build 1.8.0_31-b13)

  java HotSpot(TM) 64-Bit Server VM (build 25.31-b07，mixed mode)

Ubuntu14.04下ZooKeeper-3.4.6的安装与配置（单机版）

• 第一步：下载ZooKeeper的安装包

  链接地址为：http://mirror.bit.edu.cn/apache/zookeeper/

• 第二步：解压ZooKeeper安装包

  sudo tar -zxvf zookeeper-3.4.6.tar.gz

  chown -R mqx:mqx zookeeper-3.4.6

• 第三步：设置环境变量

  #set zookeeper environment

  export ZOOKEEPER=/home/hadoop/zookeeper-3.4.6

  export PATH=$PATH:$ZOOKKEEPER/bin

• 第四步：配置
  配置文件位置：/home/hadoop/zookeeper-3.4.6/conf，将zoo_sample.cfd文件名称改为zoo.cfg, 缺省的配置内容如下：

  # The number of milliseconds of each tick

  tickTime=2000

  # The number of ticks that the initial

  # synchronization phase can take

  initLimit=10

  # The number of ticks that can pass between

  # sending a request and getting an acknowledgement

  syncLimit=5

  # the directory where the snapshot is stored.

  # do not use /tmp for storage, /tmp here is just

  # example sakes.

  dataDir=/tmp/zookeeper

  # the port at which the clients will connect

  clientPort=2181

  # the maximum number of client connections.

  # increase this if you need to handle more clients

  #maxClientCnxns=60

  #

  # Be sure to read the maintenance section of the

  # administrator guide before turning on autopurge.

  #

  # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

  #

  # The number of snapshots to retain in dataDir

  #autopurge.snapRetainCount=3

  # Purge task interval in hours

  # Set to "0" to disable auto purge feature

  #autopurge.purgeInterval=1

  • 配置说明：
    tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
    dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。可以是任意目录。
    clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。

• 第五步：启动ZooKeeper

  运行脚本：在/bin目录下

  ./zkServer.sh start # 启动

  ./zkServer.sh status # 查看状态

  ./zkServer.sh stop # 关闭

Ubuntu14.04下apache-storm-0.9.2的安装与配置（单机版）

• 第一步：下载apache-storm-0.9.2-incubating.tar.gz 的安装包

  链接地址为：http://www.apache.org/dyn/closer.cgi/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz

• 第二步：解压storm安装包

  sudo tar -zxvf apache-storm-0.9.2-incubating.tar.gz

• 第三步：设置环境变量
  修改/etc/profile，在文件中加入：

  #set storm environment

  export STORM=/home/mqx/storm/apache-storm-0.9.2-incubating

  export PATH=$PATH:$STORM/bin

  保存退出后，执行source /etc/profile使其立刻生效

• 第四步：配置

  创建一个storm的本地数据目录

  mkdir -p /var/tmp/storm/workdir/
  修改storm下/config/storm.yaml文件，如下所示：

  ########### These MUST be filled in for a storm configuration

  storm.zookeeper.servers:

  - "localhost"

  # - "server2"

  #

  storm.zookeeper.port: 2181

  nimbus.host: "mqx"

  supervisor.slots.ports:

  - 6700

  - 6701

  - 6702

  - 6703

  storm.local.dir: "var/tmp/storm/workdir"

  • 注意：在每个配置项前面必须留有空格，否则会无法识别。
    i. nimbus.host是nimbus的IP或hostname
    ii. supervisor.slots.ports 是配置slot的ip地址。配了几个地址，就有几个slot，即几个worker。如果尝试提交的topology所声明的worker数超过当前可用的slot，该topology提交会失败。

• 第五步：启动

  在storm的bin目录下执行：

  ./storm nimbus #启动nimbus

  ./storm ui #启动ui

  ./storm supervisor#启动supervisor

storm环境搭建

原文：http://www.cnblogs.com/xymqx/p/4370824.html