1、利用VMware虚拟机安装hadoop的工具以及具体详细步骤安装Hadoop步骤1. 用到的软件虚拟机虚拟机vmware然后是centOs打开服务还有pietty链接服务器的免安装。客户端程序Winscp是在windows系统和Linux虚拟机进行直接复制的工具，需要安装。1. 安装centOs，将压缩包解压到虚拟机所在的目录，然后在VMware中选择文件打开选中centOso即可在编辑centOs的网络适配器中选择主机模式。3.设置静态IP：进入centOs后选择超级用户名root密码是hadoop,此用户拥有所有的权限，不易出错。然后打开此虚拟机，找到双电脑图标右击，出现，然后点击编辑，这
2、里的Netmask应该是255.255.255.0点击保存即可，manual是静态IP的意思。修改完之后在桌面右击选择openinterminal进入命令模式执行命令servicenetworkrestart如果出现三个oK即成功。如果不成功，则重修以上步骤，换IP地址再执行命令。4.修改主机名：查看主机名命令hostname,因为自带的hostname非常长，不好使用因此需要修改。仅在此次会话中修改主机名执行命令hostnamehadoop，则主机名则修改成Hadoop,如果要一劳永逸，则要修改配置文件。执行命令然后按esc，再按shift+:再输入wq再enter即可，保存退出。(vi命令
3、保存退出的步骤，以下不再赘述)验证：重启虚拟机，执行hostname命令显示是hadoop则成功vi 只读，不能写 输入vi命令默认进入这种模式 编辑，能读也能写 按字母a或者i就能进入编辑状态 命令，需要执行命令 如何进入命令模式：按esc，再按shift+:再输入wq再enter即 可，保存退出 如果只输入q在enter即不保存退出。注意：如果强制直接将正在编辑的文件通过右上角的红叉号关掉，则再次用vi命令进行编辑的时候会出现缓存文件的界面，但是不能编辑。此时，如果还想用vi命令进行操作，则要先通过ls -a查看此时目录下的所有文件，然后删除缓存文件例如 .a.swp 文件，rm .a.s
4、wp 即可然后在执行vi命令就可以了。1. 把ip地址和主机名绑定执行命令，进入hosts文件，然后添加192.168.80.100hadoop，保存退出。验证：pinghadoop如果ping通了则表示成功。1. 关闭防火墙查看防火墙状态的命令serviceiptablesstatus关闭防火墙的命令serviceiptablesstop防火墙可能在下次开机时自动启动，用查看所有进程的自启情况。为了准确的查看iptables的情况执行以下命令即可准确的查看其信息。关闭防火墙的自动启动命令：执行命令即可将所有的选项中的on改为off.验证用以上命令。7.SSH(secureshell)的免密码
5、登录进入家目录cd在进入cd.ssh执行ls查看啥都没有(1)执行产生秘钥命令ssh-keygen-trsa,产生秘钥位于/.ssh文件夹查看到的是秘钥(2)执行命令cp/.ssh/id_rsa.pub/.ssh/authorized_keys把公钥文件放在后面的文件中.验证：sshlocalhost如果能连接则表示成功8.安装jdk(1)安装软件winscp，然后进入选择要连接的Linux系统的用户名以及密码，点击保存。(2)进入之后可以直接将Windows系统的文件拖拽到Linux系统中(虚拟机)具体步骤如下：利用pietty工具先进入到/root/Downloads目录下运行命令rm-r
6、f*补充：rm命令使用详解功能：删除一个目录中的一个或多个文件或目录，它也可以将某个目录及其下的所有文件及子目录均删除。对于链接文件，只是删除了链接，原有文件均保持不变。语法：rm -fri 文件例子： rm -i test example参数：-f：强制删除，忽略不存在的文件，从不给出提示。-i：交互模式删除文件，删除文件前给出提示。-r：递归的删除目录下面文件以及子目录下文件。-R：递归的删除目录下面文件以及子目录下文件。-v：显示运行时详细信息将要拷贝的Hadoop以及jdk放到Downloads文件夹下然后cd/usr/local目录下，执行 cp/root/Downloads/* .
7、 命令ls即可查询当前目录下的文件(3)执行解压jdk文件但是无权限需要赋予执行权限解压缩命令./jdk-6u24-linux-i586ls-l列出当前目录下文件的权限然后给当前用户添加执行命令chmodu+x./jdk-6u24-linux-i586在继续执行解压命令即可。解压后生成jdk1.6.0_24进行重命名的命令mvjdk1.6.0_24 jdk(4)此时，执行Java命令仍然不好用因为没有配置环境变量vi/etc/profile在显示的第一行写命令：exportJAVA_HOME=/usr/local/jdkexportPATH=.:$JAVA_HOME/bin:$PATH修改完后
8、按escshift+：wq退出再执行命令sourceprofile让设置立即生效，就ok了用Java-version验证9.安装Hadoop(1)解压Hadoop文件tar-zxvfhadoop-1.1.2.tar.gz（2）重命名mvhadoop-1.1.2hadoop(3)执行命令vi/etc/profile设置环境变量exportHADOOP_NAME=/usr/local/hadoop注意这之间不允许有任何的空格exportPATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH执行命令source/etc/profile让该设置立即生效(4)伪分布配置
9、修改四个配置文件目录是$HADOOP_HOME/conf下的四个文件夹详细修改见课件(5)对Hadoop的hdfs系统就行格式化执行命令hadoopnamenode -format(6)执行命令start-all.sh启动另外在Windows的dos命令下或者pietty下执行jps可以查看Java进程通过Hadoop：50070和50030linux浏览器访问出现Hadoop就可以了如果想要在Windows系统下访问浏览器则需要绑定主机名和IP地址具体目录C:WindowsSystem32driversetchosts192.168.80.100hadoop本行前面不能加上#(7)去掉sta
10、rt-all.sh启动时报的警告需要修改一个变量值在/etc/profile中添加一个变量exportHADOOP_HOME_WARN_SUPPRESS=1然后执行source/etc/profile让修改立即生效。注意：如果执行好多次source 命令一直报command not found错误，那么应该是路径写错了或者是文件中多打了一个或者是多个字母，仔细检查就会发现了。10.使用myeclipse 查看hadoop源码创建一个java工程将hadoop 中src中的三个文件夹复制到myeclipse中出错也不要紧，只是看而已。学习HDFS1.如果要使用以下hdfs命令首先应该执行star
11、t-all.sh命令 通过jps命令查询服务是否已经全部启动。查看：执行命令hadoopfs-ls/查看hdfs当前目录(根目录)文件hadoopfs-lsr/递归查看hdfs当前目录(根目录) lsr 中的r是recursion递归的意思(1)最左边的箭头所指的第一位如果是d则表示当前是目录，如果是-则表示是文件。(2)第二个箭头中创建：hadoopfs-mkdir/d1在hdfs根目录下创建d1的文件上传：hadoopfs-put说明：如果后一个参数是不存在的目录，则复制的文件名称即此参数。下载：hadoopfs-get在HDFS上直接查看某个文件，执行以下命令hadoopfs-text相当于Linux下的more命令删除：删除文件的命令hadoopfs-rm删除：删除目录的命令hadoopfs-rmr/在hdfs中默认的路径是/user/查看hdfs下的所有的命令：输入hadoop则会显示所有的命令如果想查看命令的功能则输入hadoopfs-helpls则是查看ls命令的详细说明
