HDFSマスター1つ HDFSスレーブ3つの構成

DataNodeとTaskTrackerのインストール

sudo aptitude -y install hadoop-0.20 hadoop-0.20-datanode hadoop-0.20-tasktracker

設定ファイルの同期

全スレーブにSSH公開鍵の登録

ssh root@slaves000 mkdir /usr/lib/hadoop-0.20/.ssh
scp /usr/lib/hadoop-0.20/.ssh/authorized_keys root@slaves000:/usr/lib/hadoop-0.20/.ssh/
ssh root@slaves000 chown -R hdfs:hdfs /usr/lib/hadoop-0.20/.ssh/
ssh root@slaves000 mod 0600 /usr/lib/hadoop-0.20/.ssh/authorized_keys 

設定ファイルの配信

rsync -av /etc/hadoop-0.20/conf hdfs@slaves000:/etc/hadoop-0.20/conf
rsync -av /etc/hadoop-0.20/conf hdfs@slaves001:/etc/hadoop-0.20/conf
rsync -av /etc/hadoop-0.20/conf hdfs@slaves002:/etc/hadoop-0.20/conf

予めhdfs権限で上書きできるように設定する必要があります。

/usr/lib/hadoop-0.20/conf/以下はマスターと同じ設定にします。

設定ファイルの編集

hostsの設定

sudo vi /etc/hosts
192.168.196.125   masters000.sheeps.me    masters000
192.168.196.126   slaves000.sheeps.me     slaves000
192.168.196.127   slaves001.sheeps.me     slaves001
192.168.196.128   slaves002.sheeps.me     slaves002

初期化

cacheディレクトリの設定

sudo mkdir -p /var/lib/hadoop-0.20/cache
sudo chown -R hdfs:hadoop /var/lib/hadoop-0.20

sudo chmod 0777 /var/lib/hadoop-0.20/cache

公開鍵の登録

sudo su hdfs
cd
mkdir ./.ssh
echo ssh-rsa ************** >> ./.ssh/authorized_keys
chmod 0600 ./.ssh/authorized_keys

サービスの起動

DataNodeとTaskTrackerの起動

sudo service hadoop-0.20-datanode start
sudo service hadoop-0.20-tasktracker start

HDFSマスターのインストールへ

Leave a reply