【绝对有效,从头开始自己一步一步测试的】CentOs 8.0 下安装Hadoop环境搭建

mac2024-04-22  5

 CentOs 8.0 下安装Hadoop

      在Linux系统下安装Hadoop环境具体流程:

1. 首先安装java  jdk1.8

 有两种方法:

   安装Oracle的jdk(相对复杂);   安装OpenJDK(相对简单,我安装的是这种);

  这两种jdk的区别,给个链接大家去看    https://www.php.cn/java-article-415831.html

  安装OpenJDK一个命令就搞定

[root@localhost /]#  yum install -y java-1.8.0-openjdk-devel.x86_64

如果想安装别的版本的话,可以通过如下命令搜索一下,看看有哪些版本(注意是JDK还是JRE)

[root@localhost /]# yum search jdk 上次元数据过期检查:0:31:04 前,执行于 2019年10月31日 星期四 10时51分10秒。 ============================ 小结 和 名称 匹配:jdk ============================ java-11-openjdk-demo.x86_64 : OpenJDK Demos 11 java-1.8.0-openjdk-demo.x86_64 : OpenJDK Demos 8 java-11-openjdk-jmods.x86_64 : JMods for OpenJDK 11 java-11-openjdk-src.x86_64 : OpenJDK Source Bundle 11 java-1.8.0-openjdk-src.x86_64 : OpenJDK Source Bundle 8 java-11-openjdk.x86_64 : OpenJDK Runtime Environment 11 copy-jdk-configs.noarch : JDKs configuration files copier java-1.8.0-openjdk.x86_64 : OpenJDK Runtime Environment 8 java-11-openjdk-javadoc.x86_64 : OpenJDK 11 API documentation java-1.8.0-openjdk-javadoc.noarch : OpenJDK 8 API documentation java-11-openjdk-devel.x86_64 : OpenJDK Development Environment 11 java-1.8.0-openjdk-devel.x86_64 : OpenJDK Development Environment 8 java-11-openjdk-headless.x86_64 : OpenJDK Headless Runtime Environment 11 java-1.8.0-openjdk-accessibility.x86_64 : OpenJDK 8 accessibility connector java-1.8.0-openjdk-headless.x86_64 : OpenJDK Headless Runtime Environment 8 java-11-openjdk-javadoc-zip.x86_64 : OpenJDK 11 API documentation compressed in                                    : a single archive java-1.8.0-openjdk-javadoc-zip.noarch : OpenJDK 8 API documentation compressed                                       : in a single archive ================================ 小结 匹配:jdk ================================ icedtea-web.noarch : Additional Java components for OpenJDK - Java browser                    : plug-in and Web Start implementation  

2. 安装Hadoop

    (1)  下载Hadoop

         直接去官网http://hadoop.apache.org/releases.html下载Hadoop最新版本,新版本可能不太好稳定,我下载的版本如下

 点击binary,进入如下网页,复制(不是下载哦)一个下载源,这里我复制的清华大学的(下面红色框框中的)

    回到Linux系统命令行中,自行创建一个目录,存放Hadoop压缩包

    这是我的目录结构,hadoop是一个空文件夹(记住我是在root管理员下进来的

    

    直接开始在系统中下载Hadoop,命令如下(直接复制粘贴即可):

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz 

系统就开始下载这个压缩包,因为使用的是清华数据源,所以下载起来很快。

(2)解压文件

下载之后,输入ls命令查看当前目录文件,可以发现多了一个hadoop-2.8.5.tar.gz文件,这是hadoop压缩包

解压该文件 输入命令:

tar  -xvf  hadoop-2.8.5.tar.gz

解压过程系统屏幕刷刷刷的,等就好了。

(3)备份文件

解压后就只有一个hadoop文件夹,这里面有很多hadoop的配置文件,保险起见,我们执行复制文件命令

cp  -r hadoop-2.8.5  /usr/software/hadoop/hadoop-2.8.5-backup 复制一个备份文件(hadoop-2.8.5-backup是备份的文件)出来,这样就不怕改错了。

(4)配置环境变量

(Hadoop和JAVA一起配)

  通过vi命令编辑环境变量文件

  vi  ~/.bashrc

j进来的界面如下,红色框起来的是我本次配的环境变量

一行一行讲解吧:

    1)配置JAVA的环境变量

export JAVA_HOME=/usr/lib/jvm/java                 

如果按照我的方法安装的OpenJdk的话,jdk则默认安装在这个路径下了,直接按照我的复制粘贴就好了。

不然就自己设置等号右边的jdk的路径即可,没什么太复杂的地方。

export PATH=$JAVA_HOME/bin:$PATH:

 第二行就是将这个环境变量键值对放到系统中去,如果不懂环境变量是什么意思。(懂得话直接忽略)

最好去理解一下,简单来说就是给指定  文件在系统中设置一个快捷访问方式,通过左边的变量JAVA_HOME映射右边的指定文件的路径,以后直接使用JAVA_HOME就是直接找到对应文件的路径了。

 

  

到这里JAVA的已经配置完了。

  2)Hadoop的环境变量配置

 也就是第三行了,同样左边是变量名,右边是Hadoop的安装路径(每个人的安装路径不同,记得修改)

HADOOP_INSTALL=/usr/software/hadoop/hadoop-2.8.5

 第四行第五行也是将Hadoop的两个bin文件添加到系统环境中,这里不用修改

(2020年8月修改) 第四行也是将Hadoop两个bin文件添加到系统环境中,这里不用修改

HADOOP_PATH=$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin:$PATH

 最后一行可有可无,因为我也没添加到系统中,就是简单的注册了我的备份的hadoop的文件的环境变量键值对。

 也加上吧,以后说不定要用!(备份文件的路径也需要设置为自己的文件所在路径哈)

HADOOP_CONF_DIR=/usr/software/hadoop/hadoop-2.8.5-backup

 

  

                                                        (这个图和上面的一样)

 编辑完毕,按下esc,输入:wq命令保存并退出即可。

(5)使配置文件立即生效

  直接执行如下命令:

source ~/.bashrc

(6) 测试是否安装成功

       1.测试java安装情况

[root@localhost hadoop-2.8.5]# javac

执行结果如下:

[root@localhost hadoop-2.8.5]# javac 用法: javac <options> <source files> 其中, 可能的选项包括:   -g                         生成所有调试信息   -g:none                    不生成任何调试信息   -g:{lines,vars,source}     只生成某些调试信息   -nowarn                    不生成任何警告   -verbose                   输出有关编译器正在执行的操作的消息   -deprecation               输出使用已过时的 API 的源位置   -classpath <路径>            指定查找用户类文件和注释处理程序的位置   -cp <路径>                   指定查找用户类文件和注释处理程序的位置   -sourcepath <路径>           指定查找输入源文件的位置   -bootclasspath <路径>        覆盖引导类文件的位置   -extdirs <目录>              覆盖所安装扩展的位置   -endorseddirs <目录>         覆盖签名的标准路径的位置   -proc:{none,only}          控制是否执行注释处理和/或编译。   -processor <class1>[,<class2>,<class3>...] 要运行的注释处理程序的名称; 绕过默认的搜索进程   -processorpath <路径>        指定查找注释处理程序的位置   -parameters                生成元数据以用于方法参数的反射   -d <目录>                    指定放置生成的类文件的位置   -s <目录>                    指定放置生成的源文件的位置   -h <目录>                    指定放置生成的本机标头文件的位置   -implicit:{none,class}     指定是否为隐式引用文件生成类文件   -encoding <编码>             指定源文件使用的字符编码   -source <发行版>              提供与指定发行版的源兼容性   -target <发行版>              生成特定 VM 版本的类文件   -profile <配置文件>            请确保使用的 API 在指定的配置文件中可用   -version                   版本信息   -help                      输出标准选项的提要   -A关键字[=值]                  传递给注释处理程序的选项   -X                         输出非标准选项的提要   -J<标记>                     直接将 <标记> 传递给运行时系统   -Werror                    出现警告时终止编译   @<文件名>                     从文件读取选项和文件名  

[root@localhost hadoop-2.8.5]# java -version

 

 Hadoop安装测试

[root@localhost hadoop-2.8.5]# hadoop version

 到此JAVA环境和Hadoop基本就安装完成了 。

最新回复(0)