1、2.12、用jps查看进程 173、 zooKepper 183.1、版本以解压位置 183.2、配置zoo.config文件 183.3、拷贝 193.4、配置myid文件 193.5、启动 194、 HBase 204.1、版本及解压 204.2、修改hbase-env.sh文件 204.3、修改hbase-site.xml文件 204.4、修改regionservers文件 224.5、复制 224.6、启动 235、 Hive 235.1、为Hive建立相应的MySql账号 235.2、建立Hive专用数据库 235.3、版本及解压 245.4、配置Hive 245.5、进入Hive
2、256、 Sqoop 256.1、版本及解压 256.2、重命名配置文件 256.3、修改配置文件sqoop-env.sh 26、前序0.1、前景概序 由于工作需要，需要搭建hadoop2集群，搞了几天，各种问题，各种版本不兼容，最后终于摸索出自己的一套搭建出hadoop2集群的方法，在此总结成文档.0.2、搭建环境由于目前别人只给了4台服务器，一台命为mysql26，另外一台mysql27。Hadoop28，hadoop29.64位系统的，目前阿帕奇网站上面只提供32为的hadoop版本，所有在搭建的时候还需要重新编译源代码。版本选择为：hadoop2.2.0+zooKapper3.4.5+
3、hbase-0.96+Hive0.13+sqoop-1.4.50.3、技术在于分享欢迎广大爱好大数据的朋友一起讨论研究大数据技术，本人网名：cloudlove。QQ：505779259.1、基本配置1.1、安装JDK1.1.1、把jdk放到/usr/java目录下,然后cd /usr/java目录下 1.1.2、赋予执行权限 chmod u+x jdk-6u24-linux-i586.bin 1.1.3、使用./jdk-6u24-linux-i586.bin进行解压缩 1.1.4、重命名，执行命令 mv jdk1.6.0_24 jdk1.6 1.1.5、设置环境变量，编辑文件vi /etc/p
4、rofile，增加两行记录 export JAVA_HOME=/usr/local/jdk1.6 export PATH=.:$JAVA_HOME/bin:$PATH 保存退出 1.1.6、执行命令source /etc/profile 验证：执行命令java -version1.2、设置主机名1.2.1、通过vi /etc/sysconfig/network设置hostname 我们这是hadoop26，hadoop27，hadoop28，hadoop291.3、设置主机名于IP地址的映射1.3.1、通过 vi /etc/hosts hadoop26：132.121.86.26 hadoop
5、27：132.121.86.27hadoop28：132.121.86.28hadoop29：132.121.86.291.4、关闭防火墙 1.4.1、执行命令service iptables stop 1.4.2、执行命令chkconfig iptables off 1.4.3、执行命令chkconfig -list|grep iptables看看是否全是off1.5、创建专有的用户 一般是建专有的hadoop用户，不在root用户上面搭建1.5.1、先创建组：groupadd hadoop，然后创建用户：useradd -g hadoop cloud，然后修改hadoop用户的密码：pas
6、swd cloud，建议将密码设置的短点（2边都要创建）。1.5.2、将cloud用户加到sodu列表vi /etc/sudoers （cloud ALL=（ALL） ALL）1.6、设置无密码登录 1.6.1、用cloud用户登入hadoop26，cd到用户目录下，如 /home/cloud/ 运行ssh-keygen t rsa（连续 3次回车即可） 1.6.2、.ssh拷贝到其他server上 scp /.ssh/id_rsa.pub cloudhadoop27:/temp_keyscp /.ssh/id_rsa.pub cloudhadoop28:scp /.ssh/id_rsa.pu
7、b cloudhadoop29: 1.6.3、改变.ssh权限 chmod700/.ssh 1.6.4、对端服务器执行cat /temp_key /.ssh/authorized_keys chmod600 1.6.5、在其他服务器上面在执行上面的步骤，也要配置面验证 1.6.6、然后配置其他机器到hadoop26的免密码登陆（注意：由于系统的不同，可能有些命令不同，如果有些命令不能用。则查相应版本的系统命令）2、Hadoop2.2.0搭建2.1、安装maven2.1.1、下载maven wget 2.1.2、配置环境变量 同样在/etc/profie里配置环境变量exportMAVEN_HO
8、ME=/opt/mavenPATH=$PATH:$MAVEN_HOME/bin每个人安装的位置不同，下面配置路径也不同2.1.3、验证版本 mvn -version 2.2、编译hadoop2.2.0源码 2.2.1、下载源码 wget 2.2.2、 maven的settings.xml文件新增配置 由于maven国外服务器可能连不上，先给maven 配置一下国内镜像，在maven目录下， conf/settings.xml,在里添加，原本 的不要动 idnexus-oscmirrorOf*nameNexusoscurl s/public/mirror 同样，在/profiles内新添加pro
9、filejdk-1.6jdk1.6/activationrepositoriesrepositorynexuslocal private nexusenabledtrue/releasessnapshotsfalse/repository/repositoriespluginRepositoriespluginRepository/pluginRepository/pluginRepositories/profile2.2.3、编译clean cd hadoop2.2.0-src mvn clean install DskipTests发现异常：ERROR Failed to execute
10、goal org.apache.hadoop:hadoop-maven-plugins:2.2.0:protoc （compile-protoc） on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: protoc -version did not return a version - Help 1ERROR ERROR To see the full stack trace of the errors, re-run Maven with the -e switch.ERROR Re-run Mav
11、en using the -X switch to enable full debug logging.ERROR For more information about the errors and possible solutions, please read the following articles:ERROR Help 1 http:/cwiki.apache.org/confluence/display/MAVEN/MojoExecutionExceptionERROR After correcting the problems, you can resume the build
12、with the commandERROR mvn -rf :hadoop-common原因：由于hadoop2.2.0有漏洞需要patch一下：2.2.4、下载安装protoc2.5.02.2.4.1、下载地址地址:要下载2.5.0版本2.2.4.2、安装依赖包（不同的系统安装不同。Suse系统可以陪住zypper的源源为：zypper ar openSUSE-12.2-Oss-sohu-mirror）yum install gccyum intall gcc-c+yum install makeyum install cmakeyum install openssl-develyum in
13、stall ncurses-develyum install zlib 2.2.4.3、安装protoc2.5.0tar -xvf protobuf-2.5.0.tar.bz2cd protobuf-2.5.0./configure -prefix=/opt/protoc/make & make install2.2.5、配置环境变量不多说和上面一样2.3.6、patch由于hadoop2.2.0有漏洞需要patchPatch :https:/issues.apache.org/jira/browse/HADOOP-101102.3.7、可以编译了 mvn package -Pdist,nat
14、ive -DskipTests -Dtar2.3.8、编译后代码文件位置编译后的路径在:hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0如果编译失败，大部分是系统版本的原因，不同的系统带的套件不同，如果失败，看看失败的原因，缺少什么组件就装什么）2.3、配置节点文件slaves 加入DataNode： vi /home/cloud/hadoop-2.2.0/etc/hadoop/slaves 输入：hadoop27 Hadoop28 Hadoop292.4、配置Hadoop的core-site.xml文件 vi /home/cloud/hadoo
15、p2.2/etc/hadoop/core-site.xml输入以下内容：!- Licensed under the Apache License, Version 2.0 （the License）; you may not use this file except in compliance with the License. You may obtain a copy of the License athttp:/www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or agreed to in wri
16、ting, software distributed under the License is distributed on an AS IS BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License. See accompanying LICENSE file.- Put site-specific
17、 property overrides in this file. -configurationpropertyfs.defaultFShdfs:/hadoop26:9000/propertyio.file.buffer.size131072hadoop.tmp.dirfile:/home/cloud/hadoop2.2/tempAbase for other temporary directories.hadoop.proxyuser.hduser.hostshadoop.proxyuser.hduser.groups2.5、配置Hadoop的hdfs-site.xml文件 vi /home
18、/cloud/hadoop2.2/etc/hadoop/hdfs-site.xml 输入以下文本：?xml version=1.0 encoding=UTF-8xml-stylesheet type=text/xsl href=configuration.xsldfs.namenode.secondary.http-addresshadoop26:9001dfs.namenode.name.dir/home/hadoop/hadoop2.2/dfs/namedfs.datanode.data.dir/data1,/data2,/data3,/data4,/data5,/data6,/data7, /data8,/data9,/data10,/data11,/data12dfs.replication1dfs.webhdfs.enabled2.6、配置Hadoop的mapred-site.xml文件 vi /home/cloud/hadoop2.2/etc/hadoop/mapred-site.xmlmapreduce.framework.nameyarnmapreduce.jobhistory.address10020mapreduce.jobhistory.webapp.address19888/value
