hive安装部署
前言：在已安装好hadoop的基础上，安装并部署hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive构建在基于静态批处理的Hadoop之上，由于Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，Hive并不适合那些需要低延迟的应用，它最适合应用在基于大量不可变数据的批处理作业，例如，网络日志分析。 Hive的特点是：可伸缩（在Hadoop集群上动态的添加设备）、可扩展、容错、输出格式的松散耦合。 Hive将元数据存储在关系型数据库（RDBMS）中，比如MySQL、Derby中。 Hive有三种模式连接到数据，其方式是：单用户模式，多用户模式和远程服务模式。（也就是内嵌模式、本地模式、远程模式）。
1.实验环境准备
Linux Ubuntu 18.04 LTS
jdk-7u75-linux-x64
hadoop-2.6.0-cdh5.4.5
mysql-5.7.27
mysql-connector-java-5.1.26-bin.jar
2.下载hive
新建/data/hive目录，用于存放所需文件mkdir /data/hive
/data/hive1下，使用wget命令，下载hive所需安装包hive-1.1.0-cdh5.4.5.tar.gz以及mysql-connector-java-5.1.26-bin.jar# 读者需自行下载hive和mysql-connector-java-5.1.26-bin.jar ，这里访问的是本校的服务器，外网无法访问
cd /data/hive
wget http://10.51.46.104:60000/allfiles/hive1/hive-1.1.0-cdh5.4.5.tar.gz
wget http://10.51.46.104:60000/allfiles/hive1/mysql-connector-java-5.1.26-bin.jar
将/data/hive1目录下的hive-1.1.0-cdh5.4.5.tar.gz，解压缩到/apps目录下,并重命名为hive.tar -xzvf hive-1.1.0-cdh5.4.5.tar.gz -C /apps/gaobei/
cd /apps/gaobei
mv /apps/gaobei/hive-1.1.0-cdh5.4.5/ /apps/gaobei/hive
3. 配置hive环境
用sudo vim ~/.bashrc打开环境变量，追加以下内容#hive config
export HIVE_HOME=/apps/hive
export PATH=$HIVE_HOME/bin:$PATH
#并使环境变量生效
source ~/.bashrc
由于Hive需要将元数据，存储到Mysql中。所以需要拷贝/data/hive1目录下的mysql-connector-java-5.1.26-bin.jar到hive的lib目录下。cp /data/hive/mysql-connector-java-5.1.26-bin.jar /apps/gaobei/hive/lib/
在hive/conf下，新建hive-site.xml,并添加相应配置项（由于Hive的元数据会存储在Mysql数据库中，所以需要在Hive的配置文件中，指定mysql的相关信息。）#新建文件
touch hive-site.xml
#添加配置项
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name> //数据库链接字符串
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExsit=true; characterEncoding=latin1</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name> //连接数据库的驱动包
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name> //数据库用户名
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name> //连接数据库的密码
<value>password</value>
</property>
</configuration>
应当告诉Hive，Hadoop的环境配置。所以我们需要修改hive-env.sh文件。首先我们hive-env.sh.template改名为hive-env.sh，追加Hadoop的路径，以及Hive配置文件的路径到文件。#修改名字
mv /apps/gaobei/hive/conf/hive-env.sh.template /apps/gaobei/hive/conf/hive-env.sh
#追加配置
# Set HADOOP_HOME to point to a specific hadoop install directory
# HADOOP_HOME=${bin}/../../hadoop
HADOOP_HOME=/apps/gaobei/hadoop
# Hive Configuration Directory can be controlled by:
# export HIVE_CONF_DIR=
export HIVE_CONF_DIR=/apps/hive/conf
4. 配置mysql(这里默认你的mysql已安装好，就不一一赘述了)
首先，需要保证mysql已经启动。执行以下命令，查看mysql的运行状态。#查看运行状态
sudo service mysql status
#启动mysql
sudo service mysql start
开启mysql的客户端，并建表mysql -u root -p
create database hive CHARACTER SET latin1;
show databases;
退出mysqlexit
5.测试
输入jps，查看进程状态。若Hadoop相关进程未启动，则需启动Hadoop/apps/gaobei/hadoop/sbin/start-all.sh
启动Hadoop后，在终端命令行界面，直接输入hive便可启动Hive命令行模式hive
这里出现了如下报错，解决方案如图 输入HQL语句查询数据库，测试Hive是否可以正常使用。show databases;
