Hadoop VM完全分布式安装

Hadoop
hadoop, 安装

安装vm的步骤就跳过了.

安装完成vm并且装好linux后,把vm的网络适配器设置为HostOnly(Ps如果有局域网,也可以设置成桥接,从而可以连接到外网,但是..我设置成桥接的时候时断时续,为了稳定,所以HostOnly是一个不错的选择!)

3

 

打开网络中心,编辑箭头所指的虚拟网卡

1

 

编辑如下(ps:IP地址可以随便写,如果搞不明白,就按照我的步骤来吧,别瞎搞之后又不知道哪错了.)

2

 

进入VM中的linux设置网卡信息如下,3个linux都要设置,Address分别为192.168.1.100,192.168.1.101,192.168.1.102,设置完成之后 service network restart

4

 

关闭防火墙

service iptables stop

关闭防火墙开机自启

chkconfig iptables off

修改hosts文件

vi /etc/hosts

增加如下内容

192.168.1.100 master

192.168.1.101 node1

192.168.1.102 node2

设置ssh免密码登陆

ssh-keygen -t rsa (一直回车)

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

把本机公钥复制到另一个节点中.

ssh-copy-id -i node1

ssh-copy-id -i node2
scp /root/.ssh/authorized_keys master:/root/.ssh/

scp /root/.ssh/authorized_keys node1r:/root/.ssh/

 

设置好这个之后 就可以安装jdk了,安装过程不详述了

配置jdk环境

vi /etc/profile 增加如下内容

export JAVA_HOME=/usr/local/jdk(这里是你的jdk路径)
export PATH=.:$JAVA_HOME/bin:$PATH

 

安装hadoop

上传hadoop到linux中

解压 tar -zxvf hadoop-1.1.2.tar.gz

vi /etc/profile 增加内容如下:

export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slaves (注意匹配自己的路径)

[code]

#hadoop-env.sh 第九行改成如下,记得改成自己的jdk路径

export JAVA_HOME=/opt/jdk/

[/code]

[code]

#core-site.xml 修改如下

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!– Put site-specific property overrides in this file. –>

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>

</configuration>

[/code]

[code]

#hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!– Put site-specific property overrides in this file. –>

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/dfs/filesystem/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/dfs/filesystem/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>

[/code]

[code]

#mapred-site.xml 修改如下

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!– Put site-specific property overrides in this file. –>

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/usr/local/hadoop/mapreduce/system</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/usr/local/hadoop/mapreduce/local</value>
</property>
</configuration>

[/code]

[code]

#masters增加
master
[/code]

[code]

#slaves增加
node1
node2
[/code]

scp -r /usr/local/hadoop node1:/usr/local/

scp -r /usr/local/hadoop node2:/usr/local/
hadoop namenode -format
start-all.sh
Share Comments