配置集群遇到的问题

关于Hadoop配置项的一点说明 尽管仅仅须要配置 fs.defaultFS 和 dfs.replication 就能够执行（官方教程如此）。只是若没有配置 hadoop.tmp.dir 參数，则默认使用的暂时文件夹为 /tmp/hadoo-hadoop，而这个文件夹在重新启动时有可能被系统清理掉，导致必须又一次执行 format 才行。所以我们进行了设置。同一时候也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。

使用 netstat -anop  找到被占用的接口

netstat -ano     //显式网络情况

                        //-a : 所有socket

                        //-n : 显式数字地址

                       //-p : pid

                       //-o : timer

50070 namenode  http

50075 datanode    http

50090 secondarynamenode  http

50010 datanode  rpc port

8020 namenode rpc port

kill -9  xxxx 【用-9 最高权限终结进程】

kill -9  xxxx

---

 

问题：先看这四个文件配置-->

1:resolv.conf

2:hosts

3:hostname

4:sysconfig/network-scripts/ifcfg-ens33

只有一个JPS进程 

1：没有格式化 Hadoop namenode-format

2：四个 .xml文件的配置

3：主机名不要使用符号【字母加数字】

---

 

没进程缺失但web页面打不开

物理机与虚拟机之间网路不通 【不能互相ping】

是否有VM1 ,VM8网络适配器--->使用VMware清理工具，卸载清理再安装

---

 

只有百度ping不通

resolv.conf 是否配置nameserver 若配置 --->在resolv.conf添加Google公共DNS

nameserver 8.8.8.8

nameserver 114.114.114.114

 

---

 

复制他人的镜像

查看自己的VM8的ip端范围，网关（DNS）

配置hosts和hostname

resolv.conf

sysconfig/network-scripts/ifcfg-ens33【如果有多个ifcfg开头的都删掉】

 

---

 

centos用户远程连接需要输入密码---->【权限问题】

centos 用户下：

1、~/.ssh/authorized_keys的授权文件权限

chmod 644 authorized_keys

2、~/.ssh 文件夹的权限

chmod 700 .ssh

root用户下：

只要不让别人写数据，就可以

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

---

 

SecondaryNamenode 无法启动

 

在日志中查看错误：

 

------------Hadoop中的权限问题

chown centos:centos

chmod ug+rwx

正常情况：

 

转载于:https://www.cnblogs.com/Vowzhou/p/10144769.html

相关资源：图像清晰度评价方法——熵函数法