HBase集群安装及集成

Hbase集群搭建

注意：在安装hbase或者hadoop的时候，要注意hadoop和hbase的对应关系。如果版本不对应可能造成系统的不稳定和一些其他的问题。在hbase的lib目录下可以看到hadoop对应jar文件，默认情况下hbase下lib的jar文件对应hadoop的相对稳定的版本。如果需要使用其他的hadoop版本，需要将hbase lib下的hadoopjar包，替换掉需要使用的hadoop版本

HMaster HRegionServer Hadoop1 √ Hadoop2 √ √ Hadoop3 √ Hadoop4 √

配置步骤 在hadoop安装目录下找到hadoop-env.sh文件 添加:export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/hbase-2.0.2/lib/*

1、时间同步（必须进行时间同步）

2、配置hbase-env.sh export JAVA_HOME=/opt/jdk1.8 export HBASE_MANAGES_ZK=false --如果你是使用hbase自带的zk就是true，如果使用自己的zk就是false

3、配置hbase-site.xml

<configuration> <property> <!-- 指定 hbase 在 HDFS 上存储的路径 --> <name>hbase.rootdir</name> <value>hdfs://集群的名字/hbase</value> </property> <property> <!-- 指定 hbase 是分布式的 --> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <!-- 指定 zk 的地址，多个用“,”分割 --> <name>hbase.zookeeper.quorum</name> <value>hadoop1:2181,hadoop2:2181,hadoop3:2181,hadoop4:2181</value> </property> </configuration>

4、配置backup-masters（需要手动创建）

bigdata@hadoop1:/opt/hbase-2.0.2/conf$ vim backup-masters 文件中写hadoop2（第二个节点的映射名）

5、修改regionservers

vim regionservers hadoop1 hadoop2 hadoop3 hadoop4

6、将hadoop中的hdfs-site.xml和core-site.xml复制到hbase的conf目录（因为存储数据需要hdfs）

7、将hbase文件夹分发到其他各个节点

8、配置各个节点的hbase环境变量

9、启动zookeeper、启动hdfs、

10、启动hbase（start-hbase.sh）

start-hbase.sh，在哪台节点上执行此命令，哪个节点就是主节点 然后在 backup-masters 文件中配置的备节点上再启动一个 master 主进程

========================================================

1、hbase批量导入数据的命令：

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=, -Dimporttsv.columns="HBASE_ROW_KEY,info:name,order:no,order:date（列族：列名）" customer（表名） /input/hbase/hbase_import_data.csv（数据的hdfs路径）

2、在xshell执行hbase的jar程序，需要配置：

在hadoop安装目录下找到hadoop-env.sh文件， 添加 : export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/hbase-2.0.2/lib/*

执行的命令为: hadoop jar hbase.jar com.ScanTable

Idea开发hbase前提

C:\windows\system32\drivers\etc\hosts 192.168.104.200 hadoop1 192.168.104.201 hadoop2 192.168.104.202 hadoop3 192.168.104.203 hadoop4

Pom.xml配置

<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>2.0.2</version> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-common</artifactId> <version>2.0.2</version> </dependency>

=========================================================

hive与hbase集成

拷贝hbase相关的8个jar包到hive lib下 修改hive-site.xml配置文件 修改hive.zookeeper.quorum属性

<property> <name>hive.zookeeper.quorum</name> <value>hadoop1,hadoop2,hadoop3</value> </property>

将8个本地jar的路径配置到hive.aux.jars.path属性中

<property> <name>hive.aux.jars.path</name> <value>file:///opt/hive-2.3.2/lib/hbase-client-2.0.2.jar,file:///opt/hive-2.3.2/lib/hbase-common-2.0.2.jar,file:///opt/hive-2.3.2/lib/hbase-server-2.0.2.jar,file:///opt/hive-2.3.2/lib/hbase-common-2.0.2-tests.jar,file:///opt/hive-2.3.2/lib/hbase-protocol-2.0.2.jar,file:///opt/hive-2.3.2/lib/htrace-core4-4.2.0-incubating.jar,file:///opt/hive-2.3.2/lib/hive-hbase-handler-2.3.2.jar,file:///opt/hive-2.3.2/lib/zookeeper-3.4.10.jar </value> </property>

修改hive-env.sh配置文件 添加 export HBASE_HOME=/opt/hbase-2.0.2