首页 > 其他 > 详细

hbase2.6.5和hbase1.1.2的配置

时间:2019-03-04 11:55:09      阅读:497      评论:0      收藏:0      [点我收藏+]

1.注意hadoop和hbase的版本兼容问题

目前测试用:hadoop 2.6.5  Hbase 1.1.2

 

2.创建hadoop用户

Sudo useradd –m hadoop –s /bin/bash

创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shel.

Sudo passwd hadoop

Sudo adduser hadoop sudo

 

3.更新apt

Sudo apt-get update

 

Sudo apt-get install vim

 

4.安装ssh,设置无密码登陆

Sudo apt-get install openssh-server

Ssh localhost

Exit

Cd  ~/.ssh/

Ssh-keygen –t rsa

Cat ./id_rsa.pub >> ./authorized_keys

 

再使用ssh localhost就不需要密码

 

5.安装java环境

Sudo apt-get install default-jre default-jdk

vim ~/.bashrc

在文件前面添加export JAVA_HOME=/usr/lib/jvm/default-java

Source ~./bashrc

 

echo $JAVA_HOME

java -version

$JAVA_HOME/bin/java -version

 

6.安装hadoop

Sudo tar –zxf ~/下载/hadoop-2.6.5.tar.gz –C /usr/local

Cd /usr/local

Sudo mv ./hadoop-2.6.5/ ./hadoop

Sudo chown –R hadoop ./hadoop

 

Cd /usr/local/hadoop

./bin/hadoop version

 

7.Hadoop单机检测

Cd /usr/local/hadoop

Mkdir ./input

Cp ./etc/hadoop/*.xml ./input

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output ‘dfs[a-z.]+‘

cat ./output/*

 

8.Hadoop伪分布式配置

Vim ./etc/hadoop/core-site.xml

<configuration>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>file:/usr/local/hadoop/tmp</value>

        <description>Abase for other temporary directories.</description>

    </property>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

        

Vim ./etc/hadoop/hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/data</value>

    </property>

</configuration>

        

         配置完成后,执行namenode的格式化

         ./bin/hdfs namenode –format

          

         如果此处失败,出现JAVA_HOME is not set and could not be found.    那么需要检查.bashrc文件中是否设置了JAVA_HOME。如果设置,就需要在/usr/local/hadoop/etc/hadoop/hadoop-env.sh,在里面找到“export JAVA_HOME=${JAVA_HOME}”这行,然后,把它修改成JAVA安装路径的具体地址,比如,“export JAVA_HOME=/usr/lib/jvm/default-java”,然后,再次启动Hadoop。

        

开启:./sbin/start-dfs.sh

         输入:jps 来验证是否成功开启

 

9.创建hdfs用户目录

Cd /usr/local/hadoop

./bin/hadoop fs –mkdir –p /user/hadoop

 

./bin/hadoop fs –ls. (这个.是hdfs用户当前目录,等价于./bin/hadoop fs –ls /user/hadoop)

 

./bin/hdfs dfs –mkdir input

(在创建个input目录时,采用了相对路径形式,实际上,这个input目录创建成功以后,它在HDFS中的完整路径是“/user/hadoop/input”。

 

./bin/hdfs dfs –mkdir /input

是在HDFS的根目录下创建一个名称为input的目录

 

10.Hdfs文件操作

本地文件系统上传到hdfs

./bin/hdfs dfs -put /home/hadoop/myLocalFile.txt  input

 

         ./bin/hdfs dfs –ls input 查看是否成功上传

./bin/hdfs dfs –cat input/myLocalFile.txt

 

Hdfs下载到本地文件系统

./bin/hdfs dfs -get input/myLocalFile.txt  /home/hadoop/下载

 

Hdfs的一个目录拷贝到hdfs的另一个目录

./bin/hdfs dfs -cp input/myLocalFile.txt  /input

 

11.Hbase安装

sudo tar -zxf ~/下载/hbase-1.1.2-bin.tar.gz -C /usr/local

sudo mv /usr/local/hbase-1.1.2 /usr/local/hbase

vim ~/.bashrc

export PATH=$PATH:/usr/local/hbase/bin

source ~/.bashrc

 

cd /usr/local

sudo chown -R hadoop ./hbase

 

/usr/local/hbase/bin/hbase version

 

12.Hbase伪分布式配置

Vim /usr/local/hbase/conf/hbase-env.sh

添加:export JAVA_HOME=/usr/lib/jvm/default-java

export HBASE_CLASSPATH=/usr/local/hadoop/conf

export HBASE_MANAGES_ZK=true

 

         vim /usr/local/hbase/conf/hbase-site.xml

         设置:<configuration>

                 <property>

                <name>hbase.rootdir</name>

                <value>hdfs://localhost:9000/hbase</value>      

                 </property>

                    <property>

                <name>hbase.cluster.distributed</name>

                <value>true</value>

                 </property>

</configuration>

 

         ssh localhost

cd /usr/local/hadoop

./sbin/start-dfs.sh

Jps

 

         cd /usr/local/hbase

bin/start-hbase.sh

jps

 

bin/hbase shell

 

exit

bin/stop-hbase.sh

 

  1. 关闭hadoop:./sbin/stop-dfs.sh

 

  1. 访问hbase web管理页面 http://172.19.32.118:16010/

访问hdfs web管理页面http://172.19.32.118:50070/

 

  1. 解决namenode –format后,namenode正常启动但是datanode无法启动的问题。

找到namenode文件中的VERSION文件,复制文件中的clusterid 到datanode文件中的version文件的对应位置。

 

  1. Hdfs找hbase存储的数据和.snapshot文件。

./hadoop fs –ls /

./hadoop fs –ls /hbase

 

  1. Hbase数据迁移到本地

./bin/hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot tttt5 -copy-to file:///home/aa

hbase2.6.5和hbase1.1.2的配置

原文:https://www.cnblogs.com/dhName/p/10469614.html

(0)
(3)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!