educoder平台hadoop开发环境搭建.docx
- 文档编号:8672213
- 上传时间:2023-02-01
- 格式:DOCX
- 页数:7
- 大小:15.27KB
educoder平台hadoop开发环境搭建.docx
《educoder平台hadoop开发环境搭建.docx》由会员分享,可在线阅读,更多相关《educoder平台hadoop开发环境搭建.docx(7页珍藏版)》请在冰豆网上搜索。
educoder平台hadoop开发环境搭建
《一》配置开发环境-JavaJDK的配置
mkdir/app
回车
cd/opt
回车
ll
回车
tar-zxvfjdk-8u171-linux-x64.tar.gz
回车
mvjdk1.8.0_171//app
回车
vim/etc/profile
在最低下按i复制粘贴下面代码
JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:
$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:
$PATH
exportJAVA_HOMECLASSPATHPATH
退出wq
source/etc/profile
回车
java-version
测评
*******************************************************************************《二》配置开发环境-Hadoop安装与伪分布式集群搭建
cd/opt
回车
ls
回车
echo$JAVA_HOME
回车
ls/app
回车
ls
回车
mkdir/app
回车
cp*/app
回车
cd/app
回车
ls
回车
tar-zxvfhadoop-3.1.0.tar.gz
回车
ls
tar-zxvfjdk-8u171-linux-x64.tar.gz
回车
ls
回车
mvhadoop-3.1.0hadoop3.1
回车
cdjdk1.8.0_171/
回车
pwd
回车
vim/etc/profile
最底下按i复制
exportJAVA_HOME=/app/jdk1.8.0_171
exportHADOOP_HOME=/app/hadoop3.1
exportPATH=.:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin:
$JAVA_HOME/bin:
$PATH退出wq
source/etc/profile
回车
java-version
回车
cd/app
回车
ssh-keygen-trsa-P''
按回车
cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
回车
chmod600~/.ssh/authorized_keys
回车
vim/etc/ssh/sshd_config
找到#AuthorizedKeysFile%h/.ssh/authorized_keys把#删除
退出wq
cd/app/hadoop3.1/etc/hadoop/
回车
vimhadoop-env.sh
找到#JAVA_HOME=/usr/java/testinghdfsdfs-ls这一行按i在最后面回车,添加下面代码:
exportJAVA_HOME=/app/jdk1.8.0_171
退出wq
vimyarn-env.sh
最底下按i回车
exportJAVA_HOME=/app/jdk1.8.0_171
退出wq
————————1————————————————————————————————
vimcore-site.xml
找到
然后按i在中间回车
//localhost:
9000
//namenode标识:
端口号
然后:
wq
—————————2——————————————————————————————vimhdfs-site.xml
找到
然后按i在中间回车
然后:
wq
——————————3————————————————————————————vimmapred-site.xml
找到
然后按i在中间回车
然后:
wq
——————————4————————————————————————
vimyarn-site.xml
找到
然后按i在中间回车
8099
然后:
wq
—————————————————————————————————————cd/usr/hadoop
回车
mkdir/usr
回车
cd/usr
回车
ls
回车
mkdirhadoop
回车
cd..
回车
mkdir/usr/hadoop/tmp
回车
mkdir/usr/hadoop/hdfs
回车
mkdir/usr/hadoop/hdfs/data
回车
mkdir/usr/hadoop/hdfs/name
回车
hadoopnamenode-format
回车
start-dfs.sh
回车
cd/app/hadoop3.1/sbin
回车
————————————1——————————————————————————vimstart-dfs.sh
在#!
/usr/bin/envbash后面按i回城
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
:
wq
————————————2——————————————————————————vimstop-dfs.sh
在#!
/usr/bin/envbash后面按i回车
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
:
wq
——————————————3——————————————————————————
vimstart-yarn.sh
在#!
/usr/bin/envbash后面按i回车
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
:
wq
—————————————4—————————————————————————vimstop-yarn.sh
在#!
/usr/bin/envbash后面按i回车
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
:
wq
——————————————————————————————————————start-dfs.sh
回车
jps
测评
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- educoder 平台 hadoop 开发 环境 搭建