eclipse配置mapreduce全教程

mac2024-11-18  10

资源提供:https://pan.baidu.com/s/1I-TxOB4qfaPuX3yJN_v9WQ

Hadoop官方:https://hadoop.apache.org/releases.html


一、下载资源

去官网下载Hadoop的安装包,在windows上解压

src的也要下载,上面的链接提供了2.6.5的,需要更高版本自行下载


下载好压缩包,在windows上解压,并新建一个hadoop-lib的文件夹

将下载好的plugin包,放在你的eclipse的plugin目录下(我放在plugin没有效果,放着dropins,就可以了)


**

二、Windows配置

**

1.进入你的hadoop目录进入bin目录

把上面链接提供的hadoop.dll和winutils.exe放在里面

hadoop.dll需要另外放在C盘的Windows目录下的System32目录

2.进入share目录

在搜索框输入jar 全选复制

复制到刚刚你新建的hadoop-lib目录


3.接下来是配置Windows上的环境变量

红线的是需要自己新建的

保存退出,重启生效


**

三、eclipse配置

**

接下来打开eclipse

1.成功加入包之后,就会出现蓝色的小象,点OPEN 在这里添加你Hadoop的目录

2.点击蓝色的小象,就有打开此窗口,右击新建一个,如下图

然后新建一个Java项目,这里不贴图了

3.接着进入设置

4.添加JAR包

点那个Add Extemal JARs,添加的目录是之前所创建的hadoop-lib目录

右击你所创建的JAVA项目,操作如图,将相关依赖包导入项目中

这里还要多添加一个JUnit

5.然后创建一个conf目录,再创建一个ha的子目录,这里是代表高可用集群的意思,要把高可用集群中的hdfs-site.xml和core-site.xml放在这里面中

如果你使用的是全分布集群,操作类似,

然后将ha文件夹右击做此操作 最好成品就是这样

至此eclipse配置mapreduce就配置好了。

最新回复(0)