安装hadoop

mac2022-06-30  89

Hadoop开源软件是可靠的、分布式、可伸缩的。

2018-12-21 14:20:01

1:安装 JDK

a)下载jdk-8u65-linux-x64.tar.gz

b)复制到非共享文件的任意位置后--tar开jdk文件

c)创建/soft文件夹

d)移动tar开的文件到/soft下

e)创建符号连接

f)验证jdk安装是否成功 $>cd /soft/jdk/bin $>./java -version

2.配置java环境

1.编辑/etc/profile $>sudo nano /etc/profile 在文件最末尾添加环境变量 export JAVA_HOME=/soft/jdk   【jdk 为自己设置的软连接】

exprot PATH=$PATH:$JAVA_HOME/bin

2.使环境变量即刻生效 $>source /etc/profile  【刷新】

3.进入任意目录下,测试是否ok $>cd ~ $>java -version

Centos 修改当前路径显示为全路径

修改/etc/bashrc[ "$PS1" = "\\s-\\v\\\$ " ] && PS1="[\u@\h \W]\\$ "修改为(W大写换成小写)[ "$PS1" = "\\s-\\v\\\$ " ] && PS1="[\u@\h \w]\\$ "

3.安装hadoop

1:安装

a)下载hadoop-2.7.3.tar.gz b)tar开 $>su centos ; cd ~ $>cp /mnt/hgfs/tools/hadoop-2.7.3.tar.gz ~/downloads $>tar -xzvf hadoop-2.7.3.tar.gz c)移动tar开的文件到/soft下 $>mv ~/downloads/hadoop-2.7.3 /soft/ d)创建符号连接 $>ln -s /soft/hadoop-2.7.3 /soft/hadoop

e)验证hadoop安装是否成功 $>cd /soft/hadoop/bin $>./hadoop version

2.配置hadoop环境变量 $>sudo nano /etc/profile 在最后一行添加

export HADOOP_HOME=/soft/hadoop

export PATH= $PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.生效

$>source /etc/profile

 4.配置hadoop

1.单机模式(本地模式):standalone(local) 2.伪分布模式:Pseudodistributed mode

a)进入${HADOOP_HOME}/etc/hadoop目录 b)编辑core-site.xml <?xml version="1.0"?><configuration><property> <name>fs.defaultFS</name> <value>hdfs://localhost/</value></property></configuration> c)编辑hdfs-site.xml <?xml version="1.0"?><configuration><property> <name>dfs.replication</name> <value>1</value></property></configuration> d)编辑mapred-site.xml注意:mapred-site.xml不存在,需要拷贝一份 注意:cp mapred-site.xml.template mapred-site.xml

<?xml version="1.0"?><configuration><property> <name>mapreduce.framework.name</name> <value>yarn</value></property></configuration> e)编辑yarn-site.xml <?xml version="1.0"?><configuration><property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value></property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property></configuration>

f)配置SSH 1)检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh) $yum list installed | grep ssh

2)检查是否启动了sshd进程 $>ps -Af | grep sshd 3)在client侧生成公私秘钥对。 $>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 4)生成~/.ssh文件夹,里面有id_rsa(私钥) + id_rsa.pub(公钥)

5)追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定) $>cd ~/.ssh $>cat id_rsa.pub >> authorized_keys 6)修改authorized_keys的权限为644. $>chmod 644 authorized_keys 7)测试 $>ssh localhost

 

克隆---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

1.以主控端克隆 n 台 client (客户机)

2.启动 所有 client

3.启用共享文件夹【个人爱好】

4.修改 hostname 和  静态 IP

· cd /etc/hostname

   xxxx【客户机名】

· cd /etc/sysconfig/network-scripts/ ---->nano ifcfg-ens33

[centos@s200 /etc/sysconfig/network-scripts]$ cat ifcfg-ens33TYPE=EthernetBOOTPROTO=noneDEFROUTE=yesPEERDNS=yesPEERROUTES=yesIPV4_FAILURE_FATAL=noIPV6INIT=noIPV6_AUTOCONF=noIPV6_DEFROUTE=noIPV6_PEERDNS=noIPV6_PEERROUTES=noIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33UUID=23d103f7-7702-4708-9771-4ee211440084DEVICE=ens33ONBOOT=yesIPADDR=192.168.238.200PREFIX=24GATEWAY=192.168.238.2DNS=192.168.238.2

编辑:IPADDR为在自己IP段内设置的IP

          GATEWAY,DNS 更改为自己的默认网关

5.重启网络服务  ----->service network restart

6.修改 etc/resolv.conf 文件

   nameserver xxxxxx 【自己的默认网关】

...........................................

转载于:https://www.cnblogs.com/Vowzhou/p/10155002.html

最新回复(0)