Hadoop开发环境eclipse搭建.docx
- 文档编号:10461230
- 上传时间:2023-02-13
- 格式:DOCX
- 页数:15
- 大小:573.12KB
Hadoop开发环境eclipse搭建.docx
《Hadoop开发环境eclipse搭建.docx》由会员分享,可在线阅读,更多相关《Hadoop开发环境eclipse搭建.docx(15页珍藏版)》请在冰豆网上搜索。
Hadoop开发环境eclipse搭建
1.1.文档说明
本文档包含使用eclipse开发工具基于hadoop平台开发Map/Reduce的说明和示例。
2.开发前准备
下面所述中除了MR要安装在服务器上之外,其他的都是需要在本地开发环境上安装。
2.1.安装MR
由于Map/Reduce的运行依赖于MR,所以要提前将MR安装在服务器上,并且保证MR的hdfs和mr进程运行正常。
同时复制MR到本地,解压到任意目录,供本地开发使用,服务器上MR的安装请参考MR相关安装手册。
2.2.安装Cygwin
如果本地开发环境的操作系统是Windows,需要先安装Cygwin,如果是Linux则不需要。
2.2.1.Cygwin的安装
如果只是Dmp的本地开发可以不安装Cygwin;Cygwin可以在windows环境下安装一个linux模拟环境来进行调试。
在安装Cygwin之前,得先下载Cygwin安装程序setup-x86.exe。
Cygwin安装程序下载地址:
Cygwin安装程序的存放目录可随意无要求。
当下载成功后,运行setup-x86.exe,弹出如下图所示的对话框:
在上图所示的对话框中,直接点击“下一步”,进入如下图所示的对话框:
在上图所示的对话框中,选择“InstallfromInternet”,然后点击“下一步”,进入如下图
所示对话框:
在上图所示的对话框中,设置Cygwin的安装目录,InstallFor选择“AllUsers”,Default
TextFileType选择“Unix/binary”,然后点击“下一步”,进入如下图所示对话框:
在上图所示的对话框中,设置Cygwin安装包存放目录,然后点击“下一步”,进入如
下图所示对话框:
在上图所示的对话框中,根据实际网络情况选择连网方式,然后点击“下一步”,如果进入如下图
所示对话框:
在上图所示的对话框中,点击“下一步”,将进入如下图所示的对话框:
进入“SelectPackages”对话框后,必须保证“NetCategory”下的“OpenSSL和openssh”被安装,如下图所示:
如果还打算在eclipse上编译Hadoop,则还必须安装“BaseCategory”下的“sed”,如
下图所示:
当完成上述操作后,点击“SelectPackages”对话框中“下一步”,进入Cygwin安装包
下载过程,如下图所示:
等待安装包下载完毕,当下载完后,会自动进入到如下图所示的对话框:
在上图所示的对话框中,选中“CreateicononDesktop”,以方便直接从桌面上启动
Cygwin,然后点击“完成”按钮。
至此,Cgywin已经安装完。
2.2.2.配置环境变量
Cygwin的bin目录,以及Cygwin的usr\sbin目录都必须添加到PATH环境变量中,如下图所示:
2.2.3.安装sshd服务
点击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config命令,如下图所示:
在执行ssh-host-config时,当要求输入yes/no时,选择输入yes,如下图所示:
当出现提示是否要将sshd作为windows服务安装时,选择yes
然后出现下图所示时输入:
ntsec
完成配置,如下图所示:
2.2.4.启动sshd服务
在桌面上的“我的电脑”图标上单击右键,点击“管理”菜单,进入Windows计算机
管理,如下图所示:
在上图所示的对话框中,选中“CYGWINsshd”,弹出右键,并启动CYGWINsshd服
务,成功后,如下图所示:
当CYGWINsshd的状态为“已启动”后,接下来就是配置ssh登录。
2.2.5.配置ssh登录
执行ssh-keygen命令生成密钥文件,需要输入时,直接按回车键即可,如果不出错,应当是需要三次按回车键。
接下来生成authorized_keys文件:
cd.ssh/
catid_rsa.pub>authorized_keys
完成上述操作后,执行exit命令先退出Cygwin窗口,至此,配置ssh登录成功,下面就可以开始安装DMP了。
.
2.3.安装JDK
JDK安装此处不再详述,需要注意的是JDK必须是1.6或以上版本,建议使用最新的1.7版本。
安装完成后需要配置环境变量JAVA_HOME指向JDK安装目录;JDK的bin目录需添加到Path环境变量中。
2.4.安装eclipse和eclipse插件
2.4.1.安装eclipse
下载eclipse4.2或者更高版本,解压到安装目录即可使用。
建议使用公司的Cloud-IDE集成开发环境,到下面地址下载最新版本的Cloud-IDE。
http:
//10.46.182.20:
8080/UMAP/update/download.html
2.4.2.安装hadoop插件
复制Hadoop版本插件hadoop-2.0.0-cdh4.1.5-eclipse-plugin.jar到eclipse安装目录/plugins/下,其中插件是自己从网上下载的与hadoop版本配套的插件版本,重启eclipse。
如果安装插件成功,打开Window-->Preferens,你会发现HadoopMap/Reduce选项,在这个选项里你需要配置Hadoopinstallationdirectory,输入在本地MR解压后所在的目录(hadoop中的所有lib需要在此目录下),如下图所示:
点击OK,回到eclipse主界面,然后点击window-->ShowView-->Other…,找到Map/ReduceLocations并选中,如下所示:
点击OK,回到eclipse主界面,在Map/ReduceLocations视图中依此点击右键,选择NewHadooplocation…,出现如下图所示:
其中Locationname是用来标识当前配置的,由用户自定义,在Map/ReduceMaster选项卡里Host为安装好的MR服务器(jobtracker)的IP地址或域名,Port为服务器上jobtracker的监听端口,DFSMaster选项卡里Host为安装好的MR服务器(NameNode)的IP地址或域名,如果与jobtracker同在一台机器上则勾选UseM/RMasterhost,端口为NameNode的监听端口,Username为使用shell命令的用户名,使用默认配置即可,点击Finish完成插件的配置。
点击DFSLocations-->Hadoop如果能显示文件夹
(2)说明配置正确,如果不能正确连接,请检查你的配置。
至此,所有的准备工作完成了,可以开始开发业务所需要的Map/Reduce程序了!
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Hadoop 开发 环境 eclipse 搭建