大数据平台部署方案完整版.docx
- 文档编号:117853
- 上传时间:2022-10-03
- 格式:DOCX
- 页数:72
- 大小:6.18MB
大数据平台部署方案完整版.docx
《大数据平台部署方案完整版.docx》由会员分享,可在线阅读,更多相关《大数据平台部署方案完整版.docx(72页珍藏版)》请在冰豆网上搜索。
大数据平台部署方案
完整版
目录
1. 环境配置 6
主机地址 6
查看服务器硬件环境信息 6
查看操作系统版本和内核 6
关闭防火墙和SELinex 7
所有主机时间同步 7
安装JDK 8
Maven安装 8
配置主机名 10
配置hosts映射 10
新建hadoop用户 10
配置SSH免密码登录 11
2. 安装Zookeeper 12
修改配置文件 12
设置myid 14
启动Zookeeper集群 14
基本命令 15
3. 安装Hadoop 15
NameNode(NN)HA实现方式 15
ResourceManager(RM)HA实现方式 16
Hadoop安装包下载 16
修改配置文件 18
配置Hadoop主目录 18
修改hadoo-env.sh 18
修改core-site.xml 19
修改hdfs-site.xml 20
修改mapred-site.xml 23
修改yarn-site.xml 24
修改slaves 27
将配置好的hadoop安装包分发到其它节点 27
添加hadoop临时文件目录 28
启动Zookeeper集群 28
启动journalnode 28
格式化HDFS 28
在Master1上格式化ZK 29
启动HDFS 29
启动YARN 30
通过web页面查看集群是否已经正常启动 30
4. 安装HBase 32
下载HBase安装包 32
HBase安装 34
解压缩安装包 34
修改hbase-env.sh 35
修改hbase-site.xml 35
修改regionservers 36
添加backup-masters 36
拷贝hbase到其他节点 36
启动HBase 37
5. 安装Hive 38
安装MySQL 38
修改hive配置文件 39
HiveHWI安装及配置 40
6. Mahout安装 40
下载Mahout源码 40
Mahout0.12.0编译 41
Mahout0.12.0安装部署 41
Mahout验证 41
Mahout0.12.0实例测试 42
7. 安装Spark(Yarn-Cluster模式) 42
安装Scala 42
编译Spark 43
下载Spark源码包:
43
安装maven:
44
Spark编译 44
Spark安装 45
解压缩安装包 45
修改配置文件 45
集群运行模式 47
8. Sqoop安装 48
下载安装 48
修改配置文件 48
启动Sqoop 48
测试Sqoop 49
9. 安装Kafka 51
Kafka安装配置 51
Kafka监控安装 52
10. 安装Storm 53
上传所需文件 53
编译安装ZMQ(所有Storm的安装节点) 53
编译安装JZMQ:
(所有Storm的安装节点) 53
编译安装Python(所有Storm的安装节点) 54
修改配置文件 54
启动Storm各个后台进程 55
11. Tachyon编译部署 55
支持多种部署方式 55
编译Tachyon 56
下载并上传源代码 57
编译代码 58
集群模式部署Tachyon 58
集群环境 58
基于Zookeeper的FaultTolerantTachyonCluster实现 59
Tachyon环境变量 63
Tachyon通用配置 63
TachyonMaster配置 64
TachyonWorker配置 64
用户配置 65
在Spark中使用Tachyon 66
在MapReduce中使用Tachyon 66
12. Hue安装 66
下载编译源码包 66
Hue环境配置 68
HDFS配置 68
Yarn配置 70
Hive配置 71
HBase配置 71
Zookeeper配置 72
1.环境配置
主机地址
主机地址
用户名
密码
172.26.40.74
root
cloud4c
172.26.40.75
root
cloud4c
172.26.40.76
root
cloud4c
172.26.40.77
root
cloud4c
172.26.40.78
root
cloud4c
查看服务器硬件环境信息
查看CPU型号:
cat/proc/cpuinfo|grepname|cut-f2-d:
|uniq–c
查看物理CPU颗数:
cat/proc/cpuinfo|grepphysical|uniq–c
四颗一核的CPU
查看CPU运行模式:
getconfLONG_BIT
查看CPU是否支持64位:
cat/proc/cpuinfo|grepflags|grep'lm'|wc –l
结果大于0,说明支持64bit计算.lm指longmode,支持lm则是64bit
查看操作系统版本和内核
查看操作系统版本:
cat/etc/issue或者
lsb_release-a
查看内核信息:
关闭防火墙和SELinex
1.关闭防火墙:
serviceiptablesstop(临时关闭)
chkconfigiptablesoff(重启后生效)
2.关闭SELINUX,SELinux功能是一种强制存取控制的实现,能够进一步的增强Linux系统的安全性,但是开启此项功能会给初学者带来很多的不便,大多都关闭此项功能
lsetenforce0(临时生效)
l修改/etc/selinux/config下的SELINUX=disabled(重启后永久生效)
所有主机时间同步
1.查看目前主机时间:
date
2.修改时间:
date-s00:
00:
00
3.时间同步(主机),将172.26.40.74的本地时钟作为时间供给源,这样,即便它失去网络连接,它也可以继续为网络提供服务
yuminstallntp
vi/etc/ntp.conf
server127.127.1.0
fudge127.127.1.0stratum10
4.重新启动服务
servicentpdstop
servicentpdstart
5.其他机器同步,等待大概五分钟,再到其他机上同步该机器时间(先确保时区一样,否则同步以后时间也是有时区差的)
ntpdate172.26.40.74
6.date查看时间是否同步完成
安装JDK
1.查看Linux自带的JDK是否已安装:
java–version
2.获得如下信息,表明有自带JDK需要卸载
3.查看jdk的信息:
rpm-qa|grepjava
4.卸载自带的jdk:
rpm-e--nodepsjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm-e--nodepsjava-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
5.解压安装新的OracleJDK,将jdk-7u79-linux-x64.tar.gz放在/usr/local目录下,解压
tar-zxvfjdk-7u79-linux-x64.tar.gz
6.配置环境变量
vi/etc/profile
exportJAVA_HOME=/usr/local/jdk1.7.0_79
exportPATH=$PATH:
$JAVA_HOME/bin:
exportCLASS_PATH=.:
%JAVA_HOME%/lib/dt.jar:
%JAVA_HOME%/lib/tools.jar
7.查看JDK是否配置成功
source/etc/profile
java–version
8.卸载自己安装的JDK方法
rpm-e--nodepsjdk-1.7.0_67(jdk-1.7.0_67为自己安装的JDK版本)
Maven安装
1.去maven官网下载maven的安装包,并上传。
2.解压缩maven的安装包
tar-zxvfapache-maven-3.3.9-bin.tar.gz
3.配置maven环境变量
vim.bash_profile
exportMAVEN_HOME=/home/hadoop/apache-maven-3.3.9
exportPATH=$PATH:
$MAVEN_HOME/bin
4.测试maven是否配置成功
配置主机名
1.在172.26.40.74执行如下命令
vi/etc/sysconfig/network
NETWORKING=yes
HOSTNAME=Master1
执行如下命令查看主机名是否修改成功
servicenetworkrestart
hostname
2.在172.26.40.75执行如下命令
vi/etc/sysconfig/network
NETWORKING=yes
HOSTNAME=Master2
3.在172.26.40.76执行如下命令
vi/etc/sysconfig/network
NETWORKING=yes
HOSTNAME=Slave1
4.在172.26.40.77执行如下命令
vi/etc/sysconfig/network
NETWORKING=yes
HOSTNAME=Slave2
5.在172.26.40.78执行如下命令
vi/etc/sysconfig/network
NETWORKING=yes
HOSTNAME=Slave3
配置hosts映射
在所有节点添加如下配置:
vi/etc/hosts
172.26.40.74Master1
172.26.40.75Master2
172.26.40.76Slave1
172.26.40.77Slave2
172.26.40.78Slave3
新建hadoop用户
为所有节点新建一个hadoop用户
配置SSH免密码登录
配置主机之间hadoop用户的SSH免密码登录
1.在所有节点执行如下命令以生成秘钥:
ssh-keygen-trsa
2.进入.ssh/目录,并复制id_rsa.pub文件生成一个新的文件authorized_keys
3.验证每个节点自己的免密码登录是否成功
4.将其它节点的秘钥拷贝到Master1节点
ssh-copy-id-iMaster1
5.将Master1最终生成的密码拷贝到Master2、Slave1、Slave2、Slave3
6.测试节点之间免密码登录是否配置成功
2.安装Zookeeper
因为zookeeper有这样一个特性:
集群中只要有过半的机器是正常工作的,那么整个集群对外就是可用的,所以本次选择在Master1、Master2、Slave1、Slave2、Slave3上安装Zookeeper
1.在Master1上解压安装Zookeeper
tar-zxvfzookeeper-3.4.8.tar.gz
修改配置文件
2.修改配置文件zoo.cfg
cd/home/hadoopR/zookeeper-3.4.8/conf
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 平台 部署 方案 完整版
![提示](https://static.bdocx.com/images/bang_tan.gif)