hadoop搭建集群笔记.docx
- 文档编号:3515374
- 上传时间:2022-11-23
- 格式:DOCX
- 页数:13
- 大小:91.95KB
hadoop搭建集群笔记.docx
《hadoop搭建集群笔记.docx》由会员分享,可在线阅读,更多相关《hadoop搭建集群笔记.docx(13页珍藏版)》请在冰豆网上搜索。
hadoop搭建集群笔记
小侯Hadoop学习笔记之虚拟机搭建hadoop集群
1.虚拟机安装系统(个人安装系统是centos6.xfinal版)
1.在虚拟机安装了三个系统(centos6.xfinal版的)目前两个都是安装的,一个是在文件复制的。
2.安装完系统后开始安装rz命令包(由于系统在window系统用crt操作linux系统了,所以依赖上了rz命令)
联网情况下:
yuminstalllrzsz
接下来输入两个yes
等到出现complete的英文就是ok了。
3.卸载原装openJDK
网上查的资料就是这样执行的,一切都运行完美通过
先查看rpm-qa|grepjava
显示如下信息:
java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5
卸载:
rpm-e--nodepsjava-1.4.2-gcj-compat-1.4.2.0-40jpp.115
rpm-e--nodepsjava-1.6.0-openjdk-1.6.0.0-1.7.b09.el5
只要是不报错,再执行
rpm-qa|grepjava
显示没有任何东西了就是ok了
4.安装sun官方JDK文件
由于本人这儿已经下载下来了(jdk-6u30-linux-i586.bin);
所以直接在CRT中rz上传就好了命令如下
[root@localhostjava]#rz
rzwaitingtoreceive.
Startingzmodemtransfer.PressCtrl+Ctocancel.
100%83283KB3331KB/s00:
00:
250Errors
[root@localhostjava]#ll
总用量83372
-rw-r--r--.1rootroot852820521月112012jdk-6u30-linux-i586.bin
查看已经有了,这时候安装就好了
修改一下权限:
chmod777jdk-6u30-linux-i586.bin
接下来执行文件就好了:
./jdk-6u30-linux-i586.bin
接下来会显示好多安装信息不用管直到出现下方信息就证明已经安装ok了
howitismanagedandused,see:
PressEntertocontinue.....
(这儿敲一下键盘)
Done.
[root@localhostjava]#ll
总用量83376
drwxr-xr-x.10rootroot409612月904:
10jdk1.6.0_30
-rwxrwxrwx.1rootroot852820521月112012jdk-6u30-linux-i586.bin
5.接下来配置环境变量
<1>#vi/etc/profile
<2>在最后加入以下几行:
exportJAVA_HOME=/usr/java/jdk1.6.0_30
exportCLASSPATH=.:
$JAVA_HOME/jre/lib/rt.jar:
$JAVA_HOME/lib/dt.jar:
$JAVA_HOME/lib/tools.jar
exportPATH=$PATH:
$JAVA_HOME/bin
<3>然后生效文件
source(全是小写)/etc/profile
<4>检查
[root@localhostjava]#java-version
javaversion"1.6.0_30"
Java(TM)SERuntimeEnvironment(build1.6.0_30-b12)
JavaHotSpot(TM)ClientVM(build20.5-b03,mixedmode,sharing)
这就ok了
6.接下来修改一下主机名称
命令(hostnamemaster)
192.168.1.12master
192.168.1.11slave1
192.168.1.13slave2
7.关闭防火墙
[root@localhostjava]#serviceiptablesstop
iptables:
清除防火墙规则:
[确定]
iptables:
将链设置为政策ACCEPT:
filter[确定]
iptables:
正在卸载模块:
[确定]
8./etc/hosts文件内容追加
192.168.1.12master
192.168.1.11slave1
192.168.1.13slave2
9.vi/etc/ssh/sshd_config(这一块是无密码验证,重启VM后在连接CRT连不上了所以后来又去掉了,姑且这一块先不管了,)
在PasswordAuthenticationyes这一样注掉然后加上下边的
PasswordAuthenticationno
AuthorizedKeysFile.ssh/authorized_keys
10.authorized_keys文件拷贝到两台slave主机
ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
11.远程scp文件
authorized_keys文件拷贝到两台slave主机
scpauthorized_keysslave1:
~/.ssh/
scpauthorized_keysslave2:
~/.ssh/
追加权限
注意如果权限不对就改一下权限chmodg-wauthorized_keys
这时就可以ssh登录直接进入而不用密码拉
12.下载hadoop文件上传到虚拟机中
本人下载的Hadoop0.20.2,去apache官方网站下载即可。
上传上去后解压文件
/usr/local/hadoop/
接下来进入如下目录
[hcr@masterhadoop]$pwd
/usr/local/hadoop
[hcr@masterhadoop]$ll
总用量7536
drwxr-xr-x.2hcrhcr409612月102012bin
-rw-rw-r--.1hcrhcr740352月192010build.xml
drwxr-xr-x.4hcrhcr40962月192010c++
-rw-rw-r--.1hcrhcr3486242月192010CHANGES.txt
drwxr-xr-x.2hcrhcr409610月1916:
22conf
drwxr-xr-x.13hcrhcr40962月192010contrib
drwxr-xr-x.7hcrhcr409612月102012docs
-rw-rw-r--.1hcrhcr68392月192010hadoop-0.20.2-ant.jar
-rw-rw-r--.2hcrhcr26897412月192010hadoop-0.20.2-core.jar
-rw-rw-r--.1hcrhcr1424662月192010hadoop-0.20.2-examples.jar
-rw-rw-r--.1hcrhcr15638592月192010hadoop-0.20.2-test.jar
-rw-rw-r--.1hcrhcr699402月192010hadoop-0.20.2-tools.jar
-rw-rw-r--.2hcrhcr26897412月192010hadoop-core-0.20.2.jar
drwxr-xr-x.2hcrhcr409612月102012ivy
-rw-rw-r--.1hcrhcr88522月192010ivy.xml
drwxr-xr-x.5hcrhcr409612月102012lib
drwxr-xr-x.2hcrhcr409612月102012librecordio
-rw-rw-r--.1hcrhcr133662月192010LICENSE.txt
drwxrwxr-x.4hcrhcr409610月1920:
13logs
-rw-rw-r--.1hcrhcr1012月192010NOTICE.txt
-rw-rw-r--.1hcrhcr13662月192010README.txt
drwxr-xr-x.15hcrhcr409612月102012src
drwxr-xr-x.4hcrhcr40968月1201:
12tmp
drwxr-xr-x.8hcrhcr40962月192010webapps
[hcr@masterhadoop]$
然后把环境变量配置上吧,或者写一个脚本放到/usr/bin/下方指定到hadoop启动文件上。
#sethadooppath
exportHADOOP_HOME=/usr/local/hadoop
exportPATH=$PATH:
$HADOOP_HOME/bin
进入conf配置目录
然后把文件修改成如下
[hcr@masterconf]$catmasters
master
[hcr@masterconf]$catslaves
slave1
slave2
[hcr@masterconf]$catcore-site.xml
xmlversion="1.0"?
>
xml-stylesheettype="text/xsl"href="configuration.xsl"?
>
--Putsite-specificpropertyoverridesinthisfile.-->
--filesystemproperties-->
//master:
9000
--OOZIE-->
[hcr@masterconf]$cathdfs-site.xml
xmlversion="1.0"?
>
xml-stylesheettype="text/xsl"href="configuration.xsl"?
>
--Putsite-specificpropertyoverridesinthisfile.-->
--(备注:
replication是数据副本数量,默认为3,salve少于3台就会报错)-->
[hcr@masterconf]$
[hcr@masterconf]$catmapred-site.xml
xmlversion="1.0"?
>
xml-stylesheettype="text/xsl"href="configuration.xsl"?
>
--Putsite-specificpropertyoverridesinthisfile.-->
//master:
9001
[hcr@masterconf]$
把hadoop-env.sh中配置上jdk的环境变量,当然pids文件,日志目录文件都可以重新指定,但是个人测试搭建集群这个不主要。
exportJAVA_HOME=/usr/java/jdk1.6.0_30
[hcr@masterconf]$cathadoop-env.sh
#SetHadoop-specificenvironmentvariableshere.
#TheonlyrequiredenvironmentvariableisJAVA_HOME.Allothersare
#optional.Whenrunningadistributedconfigurationitisbestto
#setJAVA_HOMEinthisfile,sothatitiscorrectlydefinedon
#remotenodes.
#Thejavaimplementationtouse.Required.
#exportJAVA_HOME=/usr/lib/j2sdk1.5-sun
#ExtraJavaCLASSPATHelements.Optional.
#exportHADOOP_CLASSPATH=
#Themaximumamountofheaptouse,inMB.Defaultis1000.
#exportHADOOP_HEAPSIZE=2000
#ExtraJavaruntimeoptions.Emptybydefault.
#exportHADOOP_OPTS=-server
HADOOP_OPTS=-D.preferIPv4Stack=true
#CommandspecificoptionsappendedtoHADOOP_OPTSwhenspecified
exportHADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote$HADOOP_NAMENODE_OPTS"
exportHADOOP_SECONDARYNAMENODE_OPTS="-Dcom.sun.management.jmxremote$HADOOP_SECONDARYNAMENODE_OPTS"
exportHADOOP_DATANODE_OPTS="-Dcom.sun.management.jmxremote$HADOOP_DATANODE_OPTS"
exportHADOOP_BALANCER_OPTS="-Dcom.sun.management.jmxremote$HADOOP_BALANCER_OPTS"
exportHADOOP_JOBTRACKER_OPTS="-Dcom.sun.management.jmxremote$HADOOP_JOBTRACKER_OPTS"
#exportHADOOP_TASKTRACKER_OPTS=
#Thefollowingappliestomultiplecommands(fs,dfs,fsck,distcpetc)
#exportHADOOP_CLIENT_OPTS
#Extrasshoptions.Emptybydefault.
#exportHADOOP_SSH_OPTS="-oConnectTimeout=1-oSendEnv=HADOOP_CONF_DIR"
#Wherelogfilesarestored.$HADOOP_HOME/logsbydefault.
#exportHADOOP_LOG_DIR=${HADOOP_HOME}/logs
#Filenamingremoteslavehosts.$HADOOP_HOME/conf/slavesbydefault.
#exportHADOOP_SLAVES=${HADOOP_HOME}/conf/slaves
#host:
pathwherehadoopcodeshouldbersync'dfrom.Unsetbydefault.
#exportHADOOP_MASTER=master:
/home/$USER/src/hadoop
#Secondstosleepbetweenslavecommands.Unsetbydefault.This
#canbeusefulinlargeclusters,where,e.g.,slaversyncscan
#otherwisearrivefasterthanthemastercanservicethem.
#exportHADOOP_SLAVE_SLEEP=0.1
#Thedirectorywherepidfilesarestored./tmpbydefault.
#exportHADOOP_PID_DIR=/var/hadoop/pids
#Astringrepresentingthisinstanceofhadoop.$USERbydefault.
#exportHADOOP_IDENT_STRING=$USER
#Theschedulingpriorityfordaemonprocesses.See'mannice'.
#exportHADOOP_NICENESS=10
#setjavaenvironment
exportJAVA_HOME=/usr/java/jdk1.6.0_30
[hcr@masterconf]$
以上文件配置ok了后基本上主机配置完毕了。
然后就是去执行
Scp把master上的hadoop目录直接远程拷贝到slaves1和2上。
拷贝完后slave1上如下
[hcr@slave1hadoop]$pwd
/usr/local/hadoop
[hcr@slave1hadoop]$ll
总用量4904
drwxr-xr-x.2hcrhcr409612月102012bin
-rw-r--r--.1hcrhcr7403512月102012build.xml
drwxr-xr-x.4hcrhcr409612月102012c++
-rw-r--r--.1hcrhcr34862412月102012CHANGES.txt
drwxr-xr-x.2hcrhcr409610月1900:
11conf
drwxr-xr-x.13hcrhcr409612月102012contrib
drwxr-xr-x.7hcrhcr409612月102012docs
-rw-r--r--.1hcrhcr683912月102012hadoop-0.20.2-ant.jar
-rw-r--r--.1hcrhcr268974112月102012hadoop-0.20.2-core.jar
-rw-r--r--.1hcrhcr14246612月102012hadoop-0.20.2-examples.jar
-rw-r--r--.1hcrhcr156385912月102012hadoop-0.20.2-test.jar
-rw-r--r--.1hcrhcr6994012月102012hadoop-0.20.2-tools.jar
drwxr-xr-x.2hcrhcr409612月102012ivy
-rw-r--r--.1hcrhcr885212月102012ivy.xml
drwxr-xr-x.5hcrhcr409612月102012lib
drwxr-xr-x.2hcrhcr409612月102012librecordio
-rw-r--r--.1hcrhcr1336612月102012LICENSE.txt
drwxrwxr-x.3hcrhcr409610月1904:
00logs
-rw-r--r--.1hcrhcr10112月102012NOTICE.txt
-rw-r--r--.1hcrhcr136612月102012README.txt
drwxr-xr-x.15hcrhcr409612月102012src
drwxr-xr-x.4hcrhcr40968月502:
18tmp
drwxr-xr-x.8hcrhcr409612月102012webapps
[hcr@slave1hadoop]$
接下来所有的copy完毕后开始要进入启动hadoop相关动作上了。
先格式化一下namenode
[hcr@masterhadoop]$bin/hadoopnamenode–format
成功后,
接下来启动ok了。
[hcr@masterhadoop]$bin/start-all.sh
startingnamenode,loggingto/usr/local/hadoop/bin/
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- hadoop 搭建 集群 笔记
![提示](https://static.bdocx.com/images/bang_tan.gif)