版本信息
Hadoop 3.2.0java version "1.8.0_201"Windows 7专业版，64位
安装过程
jdk安装
下载jdk，解压到目录，D:\Java\jdk1.8.0_201
环境变量设置
JAVA_HOME=D:\Java\jdk1.8.0_201
Path增加：%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
CLASSPATH=.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
注意：java安装路径中不要存在空格，否则后续hadoop启动时可能会出现问题，具体参考以下博客：Windows环境下执行hadoop命令出现Error: JAVA_HOME is incorrectly set
hadoop安装
下载hadoop，解压到目录，D:\BigData\hadoop\hadoop-3.2.0
环境变量设置
HADOOP_HOME=D:\BigData\hadoop\hadoop-3.2.0
Path增加：%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;
下载hadoop的windows版本二进制文件
下载地址：目前提供了最高3.0.0版本的二进制文件3.1.0版本的二进制文件
本文使用的是hadoop3.2.0版本，用的是3.1.0的二进制文件，也能正常运行，但如果用的是3.0.0版本的二进制文件，启动yarn时会报错。下载完成后，用整个bin目录，替换本地hadoop3.2.0中的bin目录
修改配置文件（位于目录，D:\BigData\hadoop\hadoop-3.2.0\etc\hadoop）
hadoop-env.cmd
文件后面增加以下配置
set HADOOP_PREFIX=%HADOOP_HOME%
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin
set HADOOP_COMMON_HOME=%HADOOP_HOME%
set HADOOP_HDFS_HOME=%HADOOP_HOME%
set HADOOP_MAPRED_HOME=%HADOOP_HOME%
set HADOOP_YARN_HOME=%HADOOP_HOME%
hdfs-site.xml
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<!--目录需要先建立好-->
<value>/D:/BigData/hadoop/workspace/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<!--目录需要先建立好-->
<value>/D:/BigData/hadoop/workspace/hdfs/data</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.application.classpath</name>
<value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value>
</property>
</configuration>
core-site.xml
<configuration>
<!--指定fs的缺省名称-->
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<!--指定HDFS的（NameNode）的缺省路径地址,localhost：是计算机名，也可以是ip地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录(以个人为准) -->
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/BigData/hadoop/workspace/tmp</value>
</property>
</configuration>
解决yarn启动报错：通过报错发现缺少TimelineCollectorManager这个类
参考博客:hadoop安装配置之ResourceManger启动失败
将jar包，D:\BigData\hadoop\hadoop-3.2.0\share\hadoop\yarn\timelineservice\hadoop-yarn-server-timelineservice-3.2.0.jar，拷贝到D:\BigData\hadoop\hadoop-3.2.0\share\hadoop\yarn\lib目录下面
启动hadoop
格式化namenode（第一次启动前执行，只执行一次）：hdfs namenode -format 启动hdfs：start-dfs.cmd 启动yarn：start-yarn.cmd jps查看以下进程是否存在：NameNode、DataNode、ResourceManager、NodeManager 浏览器访问：http://localhost:9870/、 http://localhost:8088/cluster
转载于:https://www.cnblogs.com/darange/p/11362564.html
相关资源：JAVA上百实例源码以及开源项目
