在开始讲Map-Reduce数据分析之前,首先讲解一下,这两天遇到的问题,自己在这上面确实是耽误了很多时间:希望为自己或后来者提供经验。
(一)昨天在集群中测试,由于把集群全部移植到linux下,解决了virtualbox虚拟机的问题。接下来出现的问题就是:集群之间互联的问题,四台主机之间ssh互连。
在 hadoop学习(一)hadoop-1.2.1伪分布式配置及遇到的问题 谈到集群之间通过ssh免密码连接。早前,我们利用小度wifi新建一个局域网,我们几台机器都连接到这个局域网,分节点配置的静态IP,也是根据这个局域网的IP,设置字段。如:小度wifi分享出的局域网字段在192.168.123.*
字段,自己在每台机器设置静态IP的时候,也要设置这个字段。下面hosts文件就是我们四台主机的IP。hosts用来主机各主机
现在问题就来了:如果我们更换局域网,或者是不在本地测试,那么怎么共享局域网。其实这个问题,也是自一开始就困扰着我们。昨天同组人在别的wifi下,测试成功,解决方法:你目的是要几台分节点之间可以互连。每次更换网络,只需要,更改host文件。更改在/etc目录下的hosts文件。
hosts文件:
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
192.168.123.10 cluster1
192.168.123.11 cluster2
192.168.123.12 cluster3
192.168.123.13 cluster4
每次更换局域网,把每一天机器的ip,配置到hosts文件中,然后通过ssh测试机器之间是否可以连通。目的就是互通,只有互通hadoop主节点,在分配任务的时候才是正常的。sudo chown tom:tom 文件名
(二)在搭建集群,配置文件中出现问题
1、重启网络服务:
iface eth0 inet static
address 192.168.123.13
netmask 255.255.255.1
gateway 192.168.
broadcast 192.168
nameserver 8888
继续更新中..........................
Copyright?BUAA
两张图让你搞清楚Oracle 数据库的 union all、union、intersect、minus以及各种sql joins
原文:http://blog.csdn.net/renfengjun/article/details/18660419