本文主要来自于 谢谢原作者
本指南介绍了HBase,并详细指引读者安装HBase. 前面第二章学习指南已经指导大家安装Linux操作系统,并安装配置了Hadoop。相关安装可以查看“”。一、安装并配置HBase
1. HBase安装
1.1 解压安装包hbase-1.1.2-bin.tar.gz至路径 /usr/local,命令如下:
sudo cp hbase-1.1.2-bin.tar.gz /usr/localcd /usr/localsudo tar -zxf hbase-1.1.2-bin.tar.gz
1.2 将解压的文件名hbase-1.1.2改为hbase,以方便使用,命令如下:
sudo mv /usr/local/hbase-1.1.2 /usr/local/hbase
1.3 配置环境变量
将hbase下的bin目录添加到path中,这样,启动hbase就无需到/usr/local/hbase目录下,大大的方便了hbase的使用。教程下面的部分还是切换到了/usr/local/hbase目录操作,有助于初学者理解运行过程,熟练之后可以不必切换。 编辑~/.bashrc文件vim ~/.bashrc
如果没有引入过PATH请在~/.bashrc文件尾行添加如下内容, 如果已经引入过PATH请在export PATH这行追加/usr/local/hbase/bin,这里的“:”是分隔符。
export PATH=$PATH:/usr/local/hbase/bin
编辑完成后,再执行source命令使上述配置在当前终端立即生效,命令如下:
source ~/.bashrc
1.4 添加HBase权限
cd /usr/localsudo chown -R hadoop ./hbase #将hbase下的所有文件的所有者改为hadoop,hadoop是当前用户的用户名。
1.5 查看HBase版本,确定hbase安装成功,命令如下:
/usr/local/hbase/bin/hbase version
命令执行后,输出信息截图如下:
![此处输入图片的描述](http://dblab.xmu.edu.cn/blog/wp-content/uploads/2015/09/viewedition.png)
二、 HBase配置
HBase有三种运行模式,单机模式、伪分布式模式、分布式模式。作为学习,我们重点讨论分布式模式。相关安装可以查看“”。
以下先决条件很重要,比如没有配置JAVA_HOME环境变量,就会报错。 – jdk – Hadoop( 单机模式不需要,伪分布式模式和分布式模式需要) – SSH2.1分布模式配置
- 配置/usr/local/hbase/conf/hbase-env.sh 。配置JAVA环境变量,并添加配置HBASE_MANAGES_ZK为true,用vi命令打开并编辑hbase-env.sh,命令如下:
vi /usr/local/hbase/conf/hbase-env.sh
配置JAVA环境变量,jdk的安装目录默认是 /usr/lib/jvm/java-8-openjdk-amd64
, 则JAVA _HOME =/usr/lib/jvm/java-8-openjdk-amd64 ,配置HBASE_MANAGES_ZK为true,表示由hbase自己管理zookeeper,不需要单独的zookeeper。hbase-env.sh中本来就存在这些变量的配置,大家只需要删除前面的#并修改配置内容即可(#代表注释):export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64export HBASE_CLASSPATH=/usr/local/hbase/confexport HBASE_MANAGES_ZK=true export HBASE_HOME=/usr/local/hbaseexport HADOOP_HOME=/usr/local/hadoopexport HBASE_LOG_DIR=/usr/local/hbase/logs
添加完成后保存退出即可。
- 配置/usr/local/hbase/conf/hbase-site.xml 打开并编辑hbase-site.xml,命令如下:
vi /usr/local/hbase/conf/hbase-site.xml
在启动HBase前需要设置属性hbase.rootdir,用于指定HBase数据的存储位置,因为如果不设置的话,hbase.rootdir默认为/tmp/hbase-${user.name},这意味着每次重启系统都会丢失数据。此处设置为HBase安装目录下的hbase-tmp文件夹即(/usr/local/hbase/hbase-tmp),添加配置如下:
hbase.rootdir hdfs://Master:9000/hbase hbase.cluster.distributed true hbase.master Master:60000 hbase.zookeeper.quorum Master,Slave1
- 配置regionservers
vim /usr/local/hbase/conf/regionservers
修改内容为
Master
Slave1
复制hbase到从节点中
scp -r /usr/local/hbase Slave1:/usr/local/- 接下来测试运行。首先切换目录至HBase安装目录/usr/local/hbase;再启动HBase。命令如下:
cd /usr/local/hbasebin/start-hbase.sh
启动后,master上进程和slave进程列表
![4577-20180419204559836-357435366.png](https://images2018.cnblogs.com/blog/4577/201804/4577-20180419204559836-357435366.png)
Slave1服务器上的结果如下:
![4577-20180419204704675-228325578.png](https://images2018.cnblogs.com/blog/4577/201804/4577-20180419204704675-228325578.png)
因为hbase依赖于hadoop,因此启动和停止都是需要按照顺序进行
如果安装了独立的zookeeper
启动顺序: hadoop-> zookeeper-> hbase 停止顺序:hbase-> zookeeper-> hadoop
使用自带的zookeeper
启动顺序: hadoop-> hbase 停止顺序:hbase-> hadoop
三、编程实践
1. 利用Shell命令
1.1 HBase中创建表
HBase中用create命令创建表,具体如下:
cd /usr/local/hbasebin/hbase shell
在hbase shell中执行下面语句,[如果有hbase>打头的语句,都表示在hbase shell中执行]:
hbase> create 'student','Sname','Ssex','Sage','Sdept','course'
命令执行成功,返回如下:
0 row(s) in 1.4720 seconds
=> Hbase::Table - student
此时,即创建了一个“student”表,属性有:Sname,Ssex,Sage,Sdept,course。因为HBase的表中会有一个系统默认的属性作为行键,无需自行创建,默认为put命令操作中表名后第一个数据。创建完“student”表后,可通过describe命令查看“student”表的基本信息。命令执行截图如下:
![此处输入图片的描述](http://dblab.xmu.edu.cn/blog/wp-content/uploads/2015/09/%E9%80%89%E5%8C%BA_008.png)
1.2 HBase数据库基本操作
本小节主要介绍HBase的增、删、改、查操作。在添加数据时,HBase会自动为添加的数据添加一个时间戳,故在需要修改数据时,只需直接添加数据,HBase即会生成一个新的版本,从而完成“改”操作,旧的版本依旧保留,系统会定时回收垃圾数据,只留下最新的几个版本,保存的版本数可以在创建表的时候指定。
- 添加数据 HBase中用put命令添加数据,注意:一次只能为一个表的一行数据的一个列,也就是一个单元格添加一个数据,所以直接用shell命令插入数据效率很低,在实际应用中,一般都是利用编程操作数据。 当运行命令:put ‘student’,’95001’,’Sname’,’LiYing’时,即为student表添加了学号为95001,名字为LiYing的一行数据,其行键为95001。
hbase> put 'student','95001','Sname','LiYing'
命令执行截图如下,即为student表添加了学号为95001,名字为LiYing的一行数据,其行键为95001。
![此处输入图片的描述](http://dblab.xmu.edu.cn/blog/wp-content/uploads/2016/01/%E6%8F%92%E5%85%A5%E6%95%B0%E6%8D%AE.png)
hbase> put 'student','95001','course:math','80'
查询数据结果如下:
![4577-20180419212133089-1502579387.png](https://images2018.cnblogs.com/blog/4577/201804/4577-20180419212133089-1502579387.png)
- 删除数据 在HBase中用delete以及deleteall命令进行删除数据操作,它们的区别是:1. delete用于删除一个数据,是put的反向操作;2. deleteall操作用于删除一行数据。
- delete 命令
hbase> delete 'student','95001','Sname'
命令执行截图如下, 即删除了student表中95001行下的Sname列的所有数据。查询数据结果如下:
![4577-20180419212209922-2050028614.png](https://images2018.cnblogs.com/blog/4577/201804/4577-20180419212209922-2050028614.png)
- deleteall命令
hbase>deleteall 'student','95001'
查询数据结果如下:
![4577-20180419212449202-91859626.png](https://images2018.cnblogs.com/blog/4577/201804/4577-20180419212449202-91859626.png)
hbase> scan 'student'
- 删除表 删除表有两步,第一步先让该表不可用,第二步删除表。
hbase>disable 'student' hbase>drop 'student'
1.3 查询表历史数据
查询表的历史版本,需要两步。
1、在创建表的时候,指定保存的版本数(假设指定为5)hbase>create 'teacher',{NAME=>'username',VERSIONS=>5}
2、插入数据然后更新数据,使其产生历史版本数据,注意:这里插入数据和更新数据都是用put命令
hbase> put 'teacher','91001','username','Mary'hbase> put 'teacher','91001','username','Mary1'hbase> put 'teacher','91001','username','Mary2'hbase> put 'teacher','91001','username','Mary3'hbase> put 'teacher','91001','username','Mary4' hbase> put 'teacher','91001','username','Mary5'
3、查询时,指定查询的历史版本数。默认会查询出最新的数据。(有效取值为1到5)
hbase>get 'teacher','91001',{COLUMN=>'username',VERSIONS=>5}