hadoop详细安装配置过程1.docx
- 文档编号:11435145
- 上传时间:2023-03-01
- 格式:DOCX
- 页数:15
- 大小:20.71KB
hadoop详细安装配置过程1.docx
《hadoop详细安装配置过程1.docx》由会员分享,可在线阅读,更多相关《hadoop详细安装配置过程1.docx(15页珍藏版)》请在冰豆网上搜索。
hadoop详细安装配置过程1
Hadoop学习第一步之基础环境搭建
1.下载并安装安装ssh
sudoapt-getinstallopenssh-serveropenssh-client
3.搭建vsftpd
#sudoapt-getupdate
#sudoapt-getinstallvsftpd
配置参考 的开始、关闭和重启
$sudo/etc/vsftpdstart #开始
$sudo/etc/vsftpdstop #关闭
$sudo/etc/vsftpdrestart #重启
4.安装
sudochown-Rhadoop:
hadoop/opt
cp/soft//opt
sudovi/etc/profile
aliasuntar='tar-zxvf'
sudosource/etc/profile
source/etc/profile
untarjdk*
环境变量配置
#vi/etc/profile
●在profile文件最后加上
#setjavaenvironment
exportJAVA_HOME=/opt/
exportCLASSPATH=.:
$JAVA_HOME/lib/:
$JAVA_HOME/lib/
exportPATH=$JAVA_HOME/bin:
$PATH
配置完成后,保存退出。
●不重启,更新命令
#source/etc/profile
●测试是否安装成功
#Java–version
其他问题:
出现unabletoresolvehost解决方法
参考
开机时停在Startingsendmail不动了的解决方案
参考 安装软件时出现E:
Unabletolocatepackagevsftpd
参考 vi/vim使用方法讲解
参考 分类:
Hadoop
--------------------------------------------
克隆master虚拟机至node1、node2
分别修改master的主机名为master、node1的主机名为node1、node2的主机名为node2
(启动node1、node2系统默认分配递增ip,无需手动修改)
分别修改/etc/hosts中的ip和主机名(包含其他节点ip和主机名)
---------
配置ssh免密码连入
hadoop@node1:
~$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
Generatingpublic/privatedsakeypair.
Createddirectory'/home/hadoop/.ssh'.
Youridentificationhasbeensavedin/home/hadoop/.ssh/id_dsa.
Yourpublickeyhasbeensavedin/home/hadoop/.ssh/.
Thekeyfingerprintis:
SHA256:
B8vBju/uc3kl/v9lrMqtltttttCcXgRkQPbVoUhadoop@node1
Thekey'srandomartimageis:
+---[DSA1024]----+
|....|
|o+.E.|
|.oo+|
|..++|
|o+.oooo+|
|=o..o.ooo.o.|
|*o....+=o.+++.+|
+----[SHA256]-----+
hadoop@node1:
~$cd.ssh
hadoop@node1:
~/.ssh$ll
总用量16
drwx------2hadoophadoop4096Jul2420:
31./
drwxr-xr-x18hadoophadoop4096Jul2420:
31../
-rw-------1hadoophadoop668Jul2420:
31id_dsa
-rw-r--r--1hadoophadoop602Jul2420:
31
hadoop@node1:
~/.ssh$cat>>authorized_keys
hadoop@node1:
~/.ssh$ll
总用量20
drwx------2hadoophadoop4096Jul2420:
32./
drwxr-xr-x18hadoophadoop4096Jul2420:
31../
-rw-rw-r--1hadoophadoop602Jul2420:
32authorized_keys
-rw-------1hadoophadoop668Jul2420:
31id_dsa
-rw-r--r--1hadoophadoop602Jul2420:
31
单机回环ssh免密码登录测试
hadoop@node1:
~/.ssh$sshlocalhost
Theauthenticityofhost'localhost()'can'tbeestablished.
ECDSAkeyfingerprintisSHA256:
daO0dssyqt12tt9yGUauImOh6tt6A1SgxzSfSmpQqJVEiQTxas.
Areyousureyouwanttocontinueconnecting(yes/no)yes
Warning:
Permanentlyadded'localhost'(ECDSA)tothelistofknownhosts.
WelcometoUbuntu(GNU/Linuxx86_64)
*Documentation:
packagescanbeupdated.
178updatesaresecurityupdates.
Newrelease'LTS'available.
Run'do-release-upgrade'toupgradetoit.
Lastlogin:
SunJul2420:
21:
392016from
hadoop@node1:
~$exit
注销
Connectiontolocalhostclosed.
hadoop@node1:
~/.ssh$
出现以上信息说明操作成功,其他两个节点同样操作
让主结点(master)能通过SSH免密码登录两个子结点(slave)
hadoop@node1:
~/.ssh$scphadoop@master:
~/.ssh/./
Theauthenticityofhost'master()'can'tbeestablished.
ECDSAkeyfingerprintisSHA256:
daO0dssyqtt9yGUuImOh646A1SgxzSfatSmpQqJVEiQTxas.
Areyousureyouwanttocontinueconnecting(yes/no)yes
Warning:
Permanentlyadded'master,'(ECDSA)tothelistofknownhosts.
hadoop@master'spassword:
100%603s00:
00
hadoop@node1:
~/.ssh$cat>>authorized_keys
如上过程显示了node1结点通过scp命令远程登录master结点,并复制master的公钥文件到当前的目录下,
这一过程需要密码验证。
接着,将master结点的公钥文件追加至authorized_keys文件中,通过这步操作,
如果不出问题,master结点就可以通过ssh远程免密码连接node1结点了。
在master结点中操作如下:
hadoop@master:
~/.ssh$sshnode1
Theauthenticityofhost'node1()'can'tbeestablished.
ECDSAkeyfingerprintisSHA256:
daO0dssyqt9yGUuImOh3466A1SttgxzSfSmpQqJVEiQTxas.
Areyousureyouwanttocontinueconnecting(yes/no)yes
Warning:
Permanentlyadded'node1,'(ECDSA)tothelistofknownhosts.
WelcometoUbuntu(GNU/Linuxx86_64)
*Documentation:
packagescanbeupdated.
178updatesaresecurityupdates.
Newrelease'LTS'available.
Run'do-release-upgrade'toupgradetoit.
Lastlogin:
SunJul2420:
39:
302016from
hadoop@node1:
~$exit
注销
Connectiontonode1closed.
hadoop@master:
~/.ssh$
由上图可以看出,node1结点首次连接时需要,“YES”确认连接,
这意味着master结点连接node1结点时需要人工询问,无法自动连接,
输入yes后成功接入,紧接着注销退出至master结点。
要实现ssh免密码连接至其它结点,
还差一步,只需要再执行一遍sshnode1,如果没有要求你输入”yes”,就算成功了,过程如下:
hadoop@master:
~/.ssh$sshnode1
WelcometoUbuntu(GNU/Linuxx86_64)
*Documentation:
packagescanbeupdated.
178updatesaresecurityupdates.
Newrelease'LTS'available.
Run'do-release-upgrade'toupgradetoit.
Lastlogin:
SunJul2420:
47:
202016from
hadoop@node1:
~$exit
注销
Connectiontonode1closed.
hadoop@master:
~/.ssh$
如上图所示,master已经可以通过ssh免密码登录至node1结点了。
对node2结点也可以用上面同样的方法进行
表面上看,这两个结点的ssh免密码登录已经配置成功,但是我们还需要对主结点master也要进行上面的同样工作,
这一步有点让人困惑,但是这是有原因的,具体原因现在也说不太好,据说是真实物理结点时需要做这项工作,
因为jobtracker有可能会分布在其它结点上,jobtracker有不存在master结点上的可能性。
对master自身进行ssh免密码登录测试工作:
hadoop@master:
~/.ssh$scphadoop@master:
~/.ssh/./
Theauthenticityofhost'master()'can'tbeestablished.
ECDSAkeyfingerprintisSHA256:
daO0dssttqt9yGUuImOahtt166AgxttzSfSmpQqJVEiQTxas.
Areyousureyouwanttocontinueconnecting(yes/no)yes
Warning:
Permanentlyadded'master'(ECDSA)tothelistofknownhosts.
100%603s00:
00
hadoop@master:
~/.ssh$cat>>authorized_key
hadoop@master:
~/.ssh$sshmaster
WelcometoUbuntu(GNU/Linuxx86_64)
*Documentation:
packagescanbeupdated.
178updatesaresecurityupdates.
Newrelease'LTS'available.
Run'do-release-upgrade'toupgradetoit.
Lastlogin:
SunJul2420:
39:
242016from
hadoop@master:
~$exit
注销
Connectiontomasterclosed.
至此,SSH免密码登录已经配置成功。
-------------------------
解压hadoop
然后更新环境变量
vi/etc/profile
exportJAVA_HOME=/opt/CLASSPATH=.:
$JAVA_HOME/lib/:
$JAVA_HOME/lib/
exportHADOOP_HOME=/opt/hadoop
exportPATH=$PATH:
$JAVA_HOME/bin:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin
exportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
exportHADOOP_OPTS=""
aliasuntar='tar-zxvf'
aliasviprofile='vi/etc/profile'
aliassourceprofile='source/etc/profile'
aliascatprofile='cat/etc/profile'
aliascdhadoop='cd/opt/hadoop/'
aliasstartdfs='$HADOOP_HOME/sbin/'
aliasstartyarn='$HADOOP_HOME/sbin/'
aliasstopdfs='$HADOOP_HOME/sbin/'
aliasstopyarn='$HADOOP_HOME/sbin/'
source/etc/profile
------------------
步骤六:
修改配置
一共有7个文件要修改:
$HADOOP_HOME/etc/hadoop/
$HADOOP_HOME/etc/hadoop/
$HADOOP_HOME/etc/hadoop/
$HADOOP_HOME/etc/hadoop/
$HADOOP_HOME/etc/hadoop/
$HADOOP_HOME/etc/hadoop/
$HADOOP_HOME/etc/hadoop/slaves
其中$HADOOP_HOME表示hadoop根目录
a)、
这二个文件主要是修改JAVA_HOME后的目录,改成实际本机jdk所在目录位置
vietc/hadoop/(及vietc/hadoop/)
找到下面这行的位置,改成(jdk目录位置,大家根据实际情况修改)
exportJAVA_HOME=/opt/另外中,建议加上这句:
exportHADOOP_PREFIX=/opt/hadoop
b)参考下面的内容修改:
注:
/opt/hadoop/tmp目录如不存在,则先mkdir手动创建
的完整参数请参考
50020
50075
注:
表示数据副本数,一般不大于datanode的节点数。
的完整参数请参考
的完整参数请参考
version="">
的完整参数请参考
另外,hadoop与相比,中的很多参数已经被标识为过时,具体可参考
最后一个文件slaves暂时不管(可以先用mvslaves将它改名),上述配置弄好后,就可以在master上启用NameNode测试了,方法:
$HADOOP_HOME/bin/hdfsnamenode–format先格式化
16/07/25。
。
。
16/07/2520:
34:
42INFO:
AllocatednewBlockPoolId:
BP-
16/07/2520:
34:
42INFO:
Storagedirectory/opt/hadoop/tmp/dfs/namehasbeensuccessfullyformatted.
16/07/2520:
34:
43INFO:
Goingtoretain1imageswithtxid>=0
16/07/2520:
34:
43INFO:
Exitingwithstatus0
16/07/2520:
34:
43INFO:
SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG:
ShuttingdownNameNodeatmaster/
************************************************************/
等看到这个时,表示格式化ok
$HADOOP_HOME/sbin/
启动完成后,输入jps(ps-ef|grep...)查看进程,如果看到以下二个进程:
5161SecondaryNameNode
4989NameNode
表示master节点基本ok了
再输入$HADOOP_HOME/sbin/,完成后,再输入jps查看进程
5161SecondaryNameNode
5320ResourceManager
4989NameNode
如果看到这3个进程,表示yarn也ok了
f)修改/opt/hadoop/etc/hadoop/slaves
如果刚才用mvslaves对该文件重命名过,先运行mvslaves把名字改回来,再
vislaves编辑该文件,输入
node1
node2
保存退出,最后运行
$HADOOP_HOME/sbin/
$HADOOP_HOME/sbin/
停掉刚才启动的服务
步骤七:
将master上的hadoop目录复制到node1,node2
仍然保持在master机器上
cd先进入主目录cd/opt
zip-rhadoop
scp-rhadoop@node1:
/opt/
scp-rhadoop@node2:
/opt/
unzip
注:
node1、node2上的hadoop临时目录(tmp)及数据目录(data),仍然要先手动创建。
-----
步骤八:
验证
master节点上,重新启动
$HADOOP_HOME/sbin/
$HADOOP_HOME/sbin/
------
hadoop@master:
/opt/hadoop/sbin$
Startingnamenodeson[master]
master:
startingnamenode,loggingto/opt/hadoop/logs/
node1:
startingdatanode,loggingto/opt/hadoop/logs/
node2:
startingdatanode,loggingto/opt/hadoop/logs/
Startingsecondarynamenodes[]
:
startingsecondarynamenode,loggingto/opt/hadoop/logs/
------
hadoop@master:
/opt/hadoop/sbin$
startingyarndaemons
startingresourcemanager,loggingto/opt/hadoop/logs/
node1:
startingnodemanager,loggingto/opt/hadoop/logs/
node2:
startingnodemanager,loggingto/opt/hadoop/logs/
------
顺利的话,master节点上有几下3个进程:
ps-ef|grepResourceManager
ps-ef|grepSecondaryNameNode
ps-ef|grepNameNode
7482ResourceManager
7335SecondaryNameNode
7159NameNode
slave01、slave02上有几下2个进程:
ps-ef|grepDataNode
ps-ef|grepNodeManager
2296DataNode
2398NodeManager
同时可浏览:
bin/hdfsdfsadmin-report查看hdfs的状态
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- hadoop 详细 安装 配置 过程