首页 > 其他 > 详细

【Java 学习笔记】 Hadoop学习笔记

时间:2014-02-07 09:46:09      阅读:338      评论:0      收藏:0      [点我收藏+]

简介

Hadoop是Apache开发的一个用于大规模分布式计算的开源工程。主页地址:http://hadoop.apache.org/。

安装

在windows上安装Hadoop文档:http://wenku.baidu.com/view/6af47921af45b307e8719799.html

简单介绍下步骤吧

Step 1. 安装cygwin,cygwin是在windows的平台上模拟Linux环境的虚拟机。要注意安装的时候cygwin的安装组件最好全选,因为以后再加比较麻烦。

Step 2. 使用cygwin安装sshd服务。文档:http://ebiquity.umbc.edu/Tutorials/Hadoop/05%20-%20Setup%20SSHD.html

    安装指令:ssh-host-config

    因为第一次使用安装cygwin的时候cygwin的窗口被我直接叉掉了(注意win7下面必须用管理员权限打开cygwin!!),所以后面都需要overwrite一些已生成的文件。

截图如下:

   bubuko.com,布布扣

   有问到权限分离,具体是什么意思也不清楚,但是在说明文档里特别讲了填no。

   bubuko.com,布布扣

   问是否要安装ssh,选择yes,而后会出现“Enter the value of CYGWIN for the daemon: []”,填上 ntsec

   bubuko.com,布布扣

   之后问是否要用一个不同的名字,选了no,后面的那个选了yes

   bubuko.com,布布扣

   而后就是键入密码什么的,最后出现了have fun!这个词,你就成功了~~

   bubuko.com,布布扣

   安装成功sshd后需要启动sshd服务,路径:计算机-管理-服务和应用程序-服务-cygwin sshd-右键启动。

Step 3. 配置ssh登录

   在cygwin中使用ssh-keygen生成密钥文件,如下图所示:(一直按回车知道出现下面的那张大图,三次回车)

   bubuko.com,布布扣

   之后如下图操作(跟着文档的步骤走的)

   bubuko.com,布布扣

   完成上面步骤后,写入exit,退出cygwin(如果不那么做会出问题,是不是因为在ssh的目录下?)

   重新打开cygwin,输入 ssh localhost,在问是否继续的时候回答yes。 之后就会打出一张图片,很有爱哦~

   bubuko.com,布布扣

Step 4. 下载hadoop安装包:

   在hadoop网站上找到下载的端口(common):http://www.apache.org/dyn/closer.cgi/hadoop/common/

   在里面可以找到离自己最近的下载点(看到有北京交通大学的镜像,这个挺近的):http://mirror.bjtu.edu.cn/apache//hadoop/common/

   下载了2.3.0,就随便下了个版本,hadoop-0.23.0.tar.gz,59.43M。

Step 5. 安装hadoop

   1. 将hadoop解压到自定义的目录,D:\Useful Software\Software Installed\hadoop\run

   2. 修改hadoop中文件的配置

  •  修改hadoop-evn.sh

          将JAVA_HOME设为JDK的目录即可,JDK版本必须大于1.6

  •  修改core-site.xml

      

  • x修改

【Java 学习笔记】 Hadoop学习笔记

原文:http://www.cnblogs.com/xiaoka/p/2319839.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!