Hadoop220+Hbase0981+Sqoop144+Hive013完全安装手册.docx
- 文档编号:10585110
- 上传时间:2023-02-21
- 格式:DOCX
- 页数:15
- 大小:198.52KB
Hadoop220+Hbase0981+Sqoop144+Hive013完全安装手册.docx
《Hadoop220+Hbase0981+Sqoop144+Hive013完全安装手册.docx》由会员分享,可在线阅读,更多相关《Hadoop220+Hbase0981+Sqoop144+Hive013完全安装手册.docx(15页珍藏版)》请在冰豆网上搜索。
Hadoop220+Hbase0981+Sqoop144+Hive013完全安装手册
Hadoop2.2.0+Hbase0.98.1+Sqoop1.4.4+Hive0.13完全安装手册
文档时间
2014/7/04
各软件版本
Hadoop
2.2.0
Hbase
0.98.1
Sqoop
1.4.4
Hive
0.13
前言:
3
一.Hadoop安装(伪分布式)4
1.操作系统4
2.安装JDK4
1>下载并解压JDK4
2>配置环境变量4
3>检测JDK环境4
3.安装SSH5
1>检验ssh是否已经安装5
2>安装ssh5
3>配置ssh免密码登录5
4.安装Hadoop6
1>下载并解压6
2>配置环境变量6
3>配置Hadoop6
4>启动并验证8
前言:
网络上充斥着大量Hadoop1的教程,版本老旧,Hadoop2的中文资料相对较少,本教程的宗旨在于从Hadoop2出发,结合作者在实际工作中的经验,提供一套最新版本的Hadoop2相关教程。
为什么是Hadoop2.2.0,而不是Hadoop2.4.0
本文写作时,Hadoop的最新版本已经是2.4.0,但是最新版本的Hbase0.98.1仅支持到Hadoop2.2.0,且Hadoop2.2.0已经相对稳定,所以我们依然采用2.2.0版本。
一.Hadoop安装(伪分布式)
1.操作系统
Hadoop一定要运行在Linux系统环境下,网上有windows下模拟linux环境部署的教程,放弃这个吧,莫名其妙的问题多如牛毛。
2.安装JDK
1>下载并解压JDK
我的目录为:
/home/apple/jdk1.8
2>配置环境变量
打开/etc/profile,添加以下内容:
exportJAVA_HOME=/home/apple/jdk1.8
exportPATH=$PATH:
$JAVA_HOME/bin
exportCLASSPATH=.:
$JAVA_HOME/lib/tools.jar:
$JAVA_HOME/lib/dt.jar
执行source/etc/profile,使更改后的profile生效。
执行以下命令,赋予JDK运行的权限:
chmod777/home/apple/jdk1.8/bin/*
chmod777/home/apple/jdk1.8/lib/*
3>检测JDK环境
执行java–version,查看结果,如出现如下提示,则说明JDK已成功配置:
3.安装SSH
1>检验ssh是否已经安装
Ubuntu系统可以通过如下命令来查看ssh是否已经安装:
netstat-an|grep22
如果已安装,可跳过第二步。
2>安装ssh
Ubuntu系统可以通过如下命令来安装ssh:
sudo apt-get install ssh
3>配置ssh免密码登录
通过如下命令来配置ssh免密码登录:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
输入如下命令验证免密码登录是否成功:
sshlocalhost
如出现如下界面,则表示登录成功:
4.安装Hadoop
1>下载并解压
我的目录为:
/home/apple/hadoop-2.2.0
2>配置环境变量
打开/etc/profile,添加以下内容:
exportHADOOP_HOME=/home/apple/hadoop-2.2.0
exportHADOOP_MAPRED_HOME=$HADOOP_HOME
exportHADOOP_COMMON_HOME=$HADOOP_HOME
exportHADOOP_HDFS_HOME=$HADOOP_HOME
exportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
exportHADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
exportYARN_HOME=$HADOOP_HOME
exportPATH=$PATH:
$JAVA_HOME/bin:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin
执行source/etc/profile,使更改后的profile生效。
执行以下命令,赋予Hadoop运行的权限:
chmod777/home/apple/hadoop-2.2.0/bin/*
chmod777/home/apple/hadoop-2.2.0/sbin/*
3>配置Hadoop
修改$HADOOP_HOME/etc/hadoop目录下的配置文件。
core-site.xml添加以下内容:
//localhost:
9000
hadoop-env.sh修改以下内容:
exportJAVA_HOME=/home/apple/jdk1.8
hdfs-site.xml添加以下内容:
/home/hadoop/hadoop-2.2.0/hdfs/namenode
/home/hadoop/hadoop-2.2.0/hdfs/datanode
这里的两个地址,是你namenode和datanode两个节点上,希望hdfs文件存储的位置。
mapred-site.xml.template改为mapred-site.xml,添加以下内容:
yarn-site.xml添加以下内容:
4>启动并验证
用如下命令启动或关闭Hadoop:
start-all.sh
stop-all.sh
如果一切正常,使用jps命令你会看到如下信息:
访问8088端口可以查看job信息
访问50070端口可以查看namenode信息:
二.Hbase安装
1.下载并解压
解压从官网下的hbase-0.98.1-hadoop2-bin.tar.gz包到本地目录,我的目录为/home/apple/hbase-0.98.1。
2.配置环境变量
打开/etc/profile,添加以下内容:
exportHBASE_HOME=/home/apple/hbase-0.98.1
exportPATH=$PATH:
$JAVA_HOME/bin:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin:
$HBASE_HOME/bin:
执行source/etc/profile,使更改后的profile生效。
执行以下命令,赋予Hbase运行的权限:
chmod777/home/apple/hbase-0.98.1/bin/*
3.配置Hbase
打开HBASE_HOME/conf/hbase-env.sh,添加以下内容:
exportJAVA_HOME=/home/apple/jdk1.8/
exportHBASE_MANAGES_ZK=true
打开HBASE_HOME/conf/hbase-site.xml,添加以下内容:
//localhost:
9000/hbase
60000
4.启动Hbase
用如下命令启动和关闭Hbase:
start-hbase.sh
stop-hbase.sh
注意:
必须先启动Hadoop,再启动Hbase;先关闭Hbase,再关闭Hadoop
启动后,使用jps查看Hbase进程:
如有错误或Hbase进程未启动,可通过HBASE_HOME/logs/hbase-apple-master-机器名.log来查看启动过程信息。
5.验证Hbase
用如下命令进入Hbase:
hbaseshell
通过list命令,查看所有表名:
三.Sqoop安装
1.下载并解压
解压从官网下的sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz包到本地目录,我的目录为/home/apple/sqoop-1.4.4。
2.配置环境变量
打开/etc/profile,添加以下内容:
exportSQOOP_HOME=/home/apple/sqoop-1.4.4
exportPATH=$PATH:
$JAVA_HOME/bin:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin:
$HBASE_HOME/bin:
$SQOOP_HOME/bin
执行source/etc/profile,使更改后的profile生效。
执行以下命令,赋予Sqoop运行的权限:
chmod777/home/apple/sqoop-1.4.4/bin/*
3.配置Sqoop
打开SQOOP_HOME/conf/sqoop-env.sh,添加以下内容:
exportHADOOP_COMMON_HOME=Hadoop路径
exportHADOOP_MAPRED_HOME=Hadoop路径/share/hadoop/mapreduce
exportHBASE_HOME=Hbase路径(不用Hbase可不填)
exportHIVE_HOME=Hive路径(不用Hive可不填)
4.启动与验证Sqoop
Sqoop无需启动即可使用,我们通过一条链接mysql数据库的命令,来验证Sqoop是否可用:
sqooplist-databases--connectjdbc:
mysql:
//localhost:
3306/--usernameroot--passwordroot
如果运行成功,我们会看到所有的数据库名称列表:
四.Hive安装
1.下载并解压
解压从官网下的apache-hive-0.13.0-bin.tar.gz包到本地目录,我的目录为/home/apple/hive-0.13。
2.配置环境变量
打开/etc/profile,添加以下内容:
exportHIVE_HOME=/home/apple/hive-0.13
exportPATH=$PATH:
$JAVA_HOME/bin:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin:
$HBASE_HOME/bin:
$HIVE_HOME/bin:
$SQOOP_HOME/bin
执行source/etc/profile,使更改后的profile生效。
执行以下命令,赋予Sqoop运行的权限:
chmod777/home/apple/hive-0.13/bin/*
3.配置Hive
打开HIVE_HOME/conf/hive-site.xml,添加以下内容:
mysql:
//192.168.0.230:
3306/hive?
createDatabaseIfNotExist=true
以上四项分别是:
数据库连接,数据库驱动名,用户名,密码。
复制数据库驱动jar包到HIVE_HOME/lib目录。
注意:
如果hive的数据库使用的是mysql,不要使用utf8编码格式,而使用latin1编码。
4.启动与验证Hive
使用hive命令进入Hive的操作界面,进入成功后如下图所示:
查看数据库,会看到hive自动创建的一系列表:
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Hadoop220 Hbase0981 Sqoop144 Hive013 完全 安装 手册