hadoop271安装手册.docx
- 文档编号:5465820
- 上传时间:2022-12-16
- 格式:DOCX
- 页数:58
- 大小:2.49MB
hadoop271安装手册.docx
《hadoop271安装手册.docx》由会员分享,可在线阅读,更多相关《hadoop271安装手册.docx(58页珍藏版)》请在冰豆网上搜索。
hadoop271安装手册
hadoop2.7.1安装手册
1、准备阶段述
·hadoop-2.7.1.tar.gz安装包
·jdk1.6以上版本,这里统一使用jdk1.8版本jdk-8u45-linux-x64.rpm
·CentOS-6.4安装包
2、安装步骤概述
2.1、安装Centos-6.4系统
2.2、安装jdk1.8
2.4、如若使用64位机器,请编译hadoop-2.7.1文件
2.4、zookeeper安装,单机安装以及集群安装
2.5、关闭linux防火墙,安装已编译好的hadooop安装包以及配置QJM,或者配置HighAvailabilityWithNFS,验证hadoop是否安装成功
2.6、sqoop的编译与安装
2.7、Mysql安装
2.8、HBASE安装
2.9、HIVE安装
3、集群规划
集群规划:
主机名
IP
安装的软件
运行的进程
hadoop01
172.16.112.113
jdk、hadoop
NameNode、DFSZKFailoverController(zkfc)
hadoop02
172.16.112.114
jdk、hadoop
NameNode、DFSZKFailoverController(zkfc)
hadoop03
172.16.112.115
jdk、hadoop
ResourceManager
hadoop04
172.16.112.116
jdk、hadoop
ResourceManager
hadoop05
172.16.112.117
jdk
hadoop
zookeeper
DataNode
NodeManager
JournalNode
QuorumPeerMain
hadoop06
172.16.112.118
jdk
hadoop
zookeeper
DataNode
NodeManager
JournalNode
QuorumPeerMain
hadoop07
172.16.112.119
jdk
hadoop
zookeeper
DataNode
NodeManager
JournalNode
QuorumPeerMain
4、安装具体步骤
4.1、安装Centos-6.4系统
(1)、下载64位的CentOS-6.4镜像文件
CentOS-6.4-x86_64-bin-DVD1.iso
CentOS-6.4-x86_64-bin-DVD2.iso
系统安装只用到CentOS-6.4-x86_64-bin-DVD1.iso这个镜像,第二个镜像是系统自带的软件安装包
下载完成之后,使用光盘刻录软件将ISO镜像文件刻录在CD或者DVD光盘里得到一张安装光盘
(2)、安装CentOS
·使用安装介质启动电脑出现如下界面
·选择Installorupgradeanexistingsystem,并跳过mediatest
·出现引导界面,点击next
·语言选择,选“English”,以防止出现乱码
·键盘布局选择:
U.S.English
·选择“BasicStorageDevies”,点击next
·询问是否忽略所有数据,新电脑安装系统选择"Yes,discardanydata"
·Hostname填写
·网络设置安装图示顺序点击就可以了
·时区可以在地图上点击,选择“shanghai”并取消SystemclockusesUTC前面的对勾
·设置root的密码
·硬盘分区,一定要按照图示点选
·调整分区,必须要有/home这个分区,如果没有这个分区,安装部分软件会出现不能安装的问题
·询问是否格式化分区
·将更改写入到硬盘
·引导程序安装位置
·选择安装模式选择MinimalDesktop安装模式,并且选择现在进行客户化定制
在进行“客户化定制时”可直接next,不过在languagesupport时,选择“ChineseSupport”,如下图:
·
(3)、修改虚拟机主机名并建立IP地址与主机名之间的映射关系,最后重启虚拟机
以root权限登录
·修改主机名:
vi/etc/sysconfig/network;分别修改HOSTNAME的值,为对应的主机名hadoop01、hadoop02、hadoop03
·建立IP地址与主机名之间的映射关系:
vi/etc/hosts;
在hadoop01虚拟机的hosts文件中添加如下字段:
172.16.112.113hadoop01
在hadoop02虚拟机的hosts文件中添加如下字段:
172.16.112.114hadoop02
在hadoop03虚拟机的hosts文件中添加如下字段:
172.16.112.115hadoop03
在hadoop02虚拟机的hosts文件中添加如下字段:
172.16.112.116hadoop04
在hadoop02虚拟机的hosts文件中添加如下字段:
172.16.112.117hadoop05
在hadoop02虚拟机的hosts文件中添加如下字段:
172.16.112.118hadoop06
在hadoop02虚拟机的hosts文件中添加如下字段:
172.16.112.119hadoop07
4.2、安装jdk1.8
(1)、在hadoop家目录下创建software文件夹,并使用SecureCRT工具,点击SecureFX将所需要的jdk安装包上传到linux系统上的software文件中
·切换回当前用户:
su–hadoop01
·创建目录:
mkdir/home/hadoop01/software
·上传文件:
(以二进制文件形式传输)
(2)、安装jdk1.8
·进入jdk1.8存放目录:
cd/home/hadoop01/software/
·切换为root用户:
su,输入密码
·安装jdk1.8:
rpm-ivhjdk-8u45-linux-x64.rpm
(3)、配置jdk环境变量
·设置环境变量:
vi/etc/profile
·在profile文件中设置JAVA_HOME、CLASS_PATH、PATH三个环境变量:
#JAVA_HOME
exportJAVA_HOME=/usr/java/jdk1.8.0_45
#CLASSPATH
exportCLASSPATH=.:
$JAVA_HOME/jre/lib/rt.jar:
$JAVA_HOME/lib/dt.jar:
$JAVA_HOME/lib/tools.jar
#PATH
exportPATH=$PATH:
$JAVA_HOME/bin
·启动配置项:
source/etc/profile
·验证jdk是否安装成功:
java–version
如图:
安装成功
4.3编译hadoop2.7.1
(1)、实现ssh登录,公钥自联
·登录root用户:
su,输入密码
·打开公钥验证服务:
#RSAAuthenticationyes
#PubkeyAuthenticationyes
#AuthorizedKeysFile.ssh/authorized_keys
去掉这也项的#
·重启ssh服务:
servicesshdrestart
·以hadoop01账户登录linux系统:
su–hadoop01
·启动ssh协议:
rpm-qa|grepopenssh
rpm-qa|greprsync
·生成密钥对:
ssh-keygen-trsa-P''直接回车
·将公钥写入授权文件:
cat~/.ssh/id_dsa.pub>>authorized-keys
·修改授权文件权限:
授权文件:
chmod600~/.ssh/authorized-keys
·验证ssh登录:
sshlocalhost
多次ssh登录到localhost用户观察是否还需要输入密码
如图时,成功
(2)、将hadoop01作为Master节点,配置ssh免密码登陆,使得hadoop01无密码登录所有的slave节点:
·将其他两台hadoop02,hadoop03,hadoop04,hadoop05,hadoop06,hadoop07实现一次自联过程
·分别修改hadoop02,hadoop03,hadoop04,hadoop05,hadoop06,hadoop07节点上.ssh文件的权限和authorized-keys文件的权限:
chmod700~/.ssh
chmod600authorized-keys
·将hadoop01节点的公钥传给hadoop02,hadoop03,hadoop04,hadoop05,hadoop06,hadoop07:
scp~/.ssh/id_rsa.pubhadoop@hadoop02:
~/
scp~/.ssh/id_rsa.pubhadoop@hadoop03:
~/
scp~/.ssh/id_rsa.pubhadoop@hadoop04:
~/
scp~/.ssh/id_rsa.pubhadoop@hadoop05:
~/
scp~/.ssh/id_rsa.pubhadoop@hadoop06:
~/
scp~/.ssh/id_rsa.pubhadoop@hadoop07:
~/
·将hadoop01的公钥追加到hadoop02,hadoop03,hadoop04,hadoop05,hadoop06,hadoop07的authorized-keys中:
cat~/id_rsa.pub>>~/.ssh/authorized-keys
·验证是否实现ssh登录
sshhadoop02
sshhadoop03
sshhadoop04
sshhadoop05
sshhadoop06
sshhadoop07
(3)、编译hadoop-2.7.1环境
·所需软件:
maven、protobuf、openssl库、CMake、ant
·安装maven:
1、解压缩压缩包:
tar-zxvfapache-maven-3.3.3-bin.tar.gz
2、设置Maven环境变量:
#MAVEN
exportMAVEN_HOME=/home/hadoop/software/apache-maven-3.3.3
#environmentpath
exportPATH=/home/hadoop/software/apache-maven-3.3.3/bin
3、生效
source/etc/profile
4、验证maven
mvn–v
·安装protobuf-2.5.0
1、安装依赖包
以root身份登录
yuminstallgcc-c++
2、解压protobuf-2.5.0安装包
tar-zxvfprotobuf-2.5.0.tar.gz
3、进入protobuf-2.5.0文件夹,进行如下操作:
./configure
make
makecheck
makeinstall
ldconfig
4、修改环境变量:
vi/etc/profile
#protobuf
exportLD_LIBRARY_PATH=/home/hadoop/software/protobuf-2.5.0
5、生效
source/etc/profile
注意:
配置/etc/profile,在虚拟机重启后,可能配置会失效,所以重启后,需要再次执行source操作。
6、安装pache-ant-1.9.4-bin.tar.gz
·解压安装包:
tar-zxvfapache-ant-1.9.4-bin.tar.gz
·配置环境变量:
vi/etc/profile
#Ant
exportANT_HOME=/home/hadoop/software/apache-ant-1.9.4
#PATH
exportPATH=$ANT_HOME/bin
·生效
source/etc/profile
·校验
ant-version
7、编译hadoop-2.7.1
将hadoop-2.7.1-src.tar.gz解压缩,并进入hadoop-2.7.1-src文件夹
执行命令:
mvnpackage-Pdist,native-DskipTests-Dtar
8、在目录hadoop-2.4.0-src/hadoop-dist/target下有文件:
hadoop-2.4.0.tar.gz编译成功
4.4Zookeeper3.2单机安装
本篇為Zookeeper的獨立測試(不包含搭配Hadoop,Hbase的協同合作)
•測試於Ubuntu9.10,Zookeeper為3.2.1版,java版本為1.6,並且於環境變數已經加入JAVA_HOME=/usr/lib/jvm/java-6-sun
•設定好sshlocalhost免密碼
安裝目錄
/opt/zookeeper/
工作目錄
/var/zookeeper/
安装步骤
1.下載zookeeper最新版,並且解壓縮到/opt/zookeeper
2.新建/var/zookeeper當作zookeeper的工作目錄,並確實設定可讀寫權限
新建配置文档/opt/zookeeper/conf/zoo.cfg
tickTime=2000
dataDir=/var/zookeeper
clientPort=2181
$ cd/local/software/zookeeper/;ln-szookeeper-3.3.1/zookeeper
$ exportZOOKEEPER_INSTALL=/local/software/zookeeper/zookeeper/
$ exportPATH=$PATH:
$ZOOKEEPER_INSTALL/bin
接着执行
$cd/opt/zookeeper
$bin/zkServer.sh start
完成启动
运行netstat-tnl
可以看到2181端口已打开
关闭
$bin/zkServer.shstop
执行测试
接着执行
$bin/zkCli.sh-server127.0.0.1:
2181
基本测试
[zkshell:
0]help
[zkshell:
8]ls/
[zookeeper]
[zkshell:
9]create/zk_testmy_data
Created/zk_test
[zkshell:
11]ls/
[zookeeper,zk_test]
[zkshell:
12]get/zk_test
my_data
[zkshell:
14]set/zk_testjunk
[zkshell:
15]get/zk_test
junk
[zkshell:
16]quit
·zooKeeper配置文件参数
参考:
http:
//hadoop.apache.org/zookeeper/docs/r3.3.1/zookeeperAdmin.html#sc_configuration
ZooKeeperServer的行为受配置文件zoo.cfg的控制,zoo.cfg的设计目标是让所有服务器都可以使用相同的配置文件,如果需要使用不同的配置文件,需要保证关于cluster部分的参数相同。
下面是具体的参数:
最小必要配置的参数
clientPort
服务的监听端口
dataDir
用于存放内存数据库快照的文件夹,同时用于集群的myid文件也存在这个文件夹里(注意:
一个配置文件只能包含一个dataDir字样,即使它被注释掉了。
)
tickTime
心跳时间,为了确保连接存在的,以毫秒为单位,最小超时时间为两个心跳时间
高级配置参数
dataLogDir
用于单独设置transactionlog的目录,transactionlog分离可以避免和普通log还有快照的竞争
globalOutstandingLimit
client请求队列的最大长度,防止内存溢出,默认值为1000
preAllocSize
预分配的Transactionlog空间为block个proAllocSizeKB,默认block为64M,一般不需要更改,除非snapshot过于频繁
snapCount
在snapCount个snapshot后写一次transactionlog,默认值是100,000
traceFile
用于记录请求的log,打开会影响性能,用于debug的,最好不要定义
maxClientCnxns
最大并发客户端数,用于防止DOS的,默认值是10,设置为0是不加限制
clientPortBindAddress
3.3.0后新增参数,可是设置指定的clientip以及端口,不设置的话等于ANY:
clientPort
minSessionTimeout
3.3.0后新增参数,最小的客户端session超时时间,默认值为2个tickTime,单位是毫秒
maxSessionTimeout
3.3.0后新增参数,最大的客户端session超时时间,默认值为20个tickTime,单位是毫秒
集群参数
electionAlg
用于选举的实现的参数,0为以原始的基于UDP的方式协作,1为不进行用户验证的基于UDP的快速选举,2为进行用户验证的基于UDP的快速选举,3为基于TCP的快速选举,默认值为3
initLimit
多少个心跳时间内,允许其他server连接并初始化数据,如果ZooKeeper管理的数据较大,则应相应增大这个值
leaderServes
leader是否接受客户端连接。
默认值为yes。
leader负责协调更新。
当更新吞吐量远高于读取吞吐量时,可以设置为不接受客户端连接,以便leader可以专注于同步协调工作。
默认值是yes,说明leader可以接受客户端连接。
(注意:
当集群中有超过3台ZooKeeperServer时,强烈建议打开leader选举)
server.x=[hostname]:
nnnnn[:
nnnnn],etc
配置集群里面的主机信息,其中server.x的x要写在myid文件中,决定当前机器的id,第一个port用于连接leader,第二个用于leader选举。
如果electionAlg为0,则不需要第二个port。
hostname也可以填ip。
syncLimit
多少个tickTime内,允许follower同步,如果follower落后太多,则会被丢弃。
group.x=nnnnn[:
nnnnn]
weight.x=nnnnn
这两个是用于集群分组的参数,暂时只有3台机器,没仔细研究,先给个例子看看吧
group.1=1:
2:
3
group.2=4:
5:
6
group.3=7:
8:
9
weight.1=1
weight.2=1
weight.3=1
weight.4=1
weight.5=1
weight.6=1
weight.7=1
weight.8=1
weight.9=1
用于用户认证的选项
略
不安全选项
略
·ZooKeeper集群部署管理
1.约定:
a.ZooKeeperServer,[server1]的ip为172.16.104.241,[server2]的ip为172.16.104.242,[server3]的ip为172.16.104.243。
b.[zk_dir]表示ZooKeeper的根目录,假设为/home/user/zookeeper
c.[zk_data]表示ZooKeeper数据文件存放地址,假设为/home/user/zk_data
d.[zk_trlog]表示ZooKeeper的TransactionLog目录,假设为/home/user/zk_trlog
e.[zk_logs]表示ZooKeeper的一半log目录,假设为/home/user/zk_logs
2.服务端环境要求:
a.Linux或者其他类UNIX系统(Windows及MacOS只能作为开发环境,不能做生产环境)
b.JDK1.6或更高
c.Server管理需要netcat或者telnet
3.获得ZooKeeper发行版:
访问:
http:
//hadoop.apache.org/zookeeper/releases.html,目前ZooKeeper的最新版本为3.3.1版本(2010年5月17日发行)
4.修改配置文件:
因为ZooKeeper的配置文件设计目标是可供所有机器使用的通用配置文件,因此可以现在一台机器上写完,然后复制到其他server上。
在[zk_dir]/conf下新建zoo.cfg文件,详细参数说明参见附录,这里给出一个配置文件的例子:
#BASICSETTINGS
#Thenumberofmillisecondsofeachtick
tickTime=2000
#theportatwhichtheclientswillconnect
clientPort=2181
#thedirectorywherethesnapshotisstored.
dataDir=/home/user/zk_logs/zk_data
#thedirectorywherethetransactionlogisstored
dataLogDir=/home/user/zk_logs/zk_trog
#BASICSETTINGSEND
##########################################################
#CLUSTERSETTINGS
#Thenumberofticksthattheinitial
#synchronizationphasecantake
initLimit=10
#Thenumberofticksthatcanpassbetween
#sendingarequestandgettinganacknowledgement
syncLimit=5
#CLUSTERSERVERCONFIG
server.1=192.168.1.201:
2888:
3888
server.2=192.168.1.202:
2888:
3888
server.3=192.168.1.203:
2888:
3888
#C
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- hadoop271 安装 手册