Hadoop學習教學(三) ---- Hadoop安裝

　　這節就開始講述Hadoop的安裝吧。在這之前先設定下SSH免密碼登入，為什麼需要設定這個呢？大家都知道Hadoop叢集中可能有幾十台機器甚至是上千台機器，而每次啟動Hadoop都需要輸入密碼才能夠登入到每台機器的DataNode上的，所以為了避免後期繁瑣的操作，一般都會設定SSH免密碼登入。
　　註:筆者使用的遠端連線工具是XShell,很好用的一款遠端連線工具，推薦大家使用，還可以安裝一下xftp檔案傳輸工具，方便於將自己電腦上的軟體拷貝到虛擬機器中，xftp和Xshell是可以配套使用的。

設定SSH免密碼登入，首先需要有SSH的支援，當然，在第一篇中的安裝CentOS系統中是會自己安裝上SSH的，為了節省時間這裡就不說了。不清楚是否有沒有安裝SSH的可以使用ssh -version進行驗證，如果出現與下圖相似的資訊就代表已經安裝了SSH了.

下面開始看看如何設定SSH免密碼登入吧。

首先輸入ssh localhost,驗證在為設定前是無法通過ssh連線本機的

下面在使用者目錄下(筆者使用的是root使用者,所以是/root目錄,普通使用者的資料夾是在/home，目錄下與使用者名稱相同的目錄)ls -a ,可以看見有一個隱藏的資料夾.ssh，如果沒有的話可以自行建立。然後輸入一下命令，出現如下圖示:

ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa

這裡解釋一下命令的含義(注意區分大小寫):ssh-keygen代表生成金鑰;-t表示生成金鑰的型別;-P提供密語；-f指定生成的檔案.這個命令執行完畢後會在.ssh資料夾下生成兩個檔案，分別是id_dsa、id_dsa.pub,這是SSH的一對私鑰和公鑰，就像是鑰匙和鎖。下一步將id_dsa.pub追加到授權的key中,鍵入一下命令：

cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys

此時，免密碼登入本機就設定完成了，下面再次輸入ssh localhost進行驗證，出現下圖所示資訊代表設定成功了

ssh localhost

看上圖所示，第一次登入會詢問我們是否繼續連線，輸入yes，第二次就無需詢問直接進入了。

以上所述只是本機ssh登入，那麼如何讓另外三個虛擬機器也能無密碼存取呢？答案很簡單，我們只需要輸入一下命令將本機的SSH公鑰copy到其他三台虛擬機器上並輸入相應虛擬機器的的密碼即可。

ssh-copy-id -i /root/.ssh/id_dsa.pub root@hadoop.slave1
#提示輸入hadoop.slave1的密碼
ssh-copy-id -i /root/.ssh/id_dsa.pub root@hadoop.slave2
#提示輸入hadoop.slave2的密碼
ssh-copy-id -i /root/.ssh/id_dsa.pub root@hadoop.slave3
#提示輸入hadoop.slave3的密碼

再驗證一下吧，進入hadoop.slave1,輸入ssh hadoop.master,此時會詢問是否連線，輸入yes後會要求輸入hadoop.master的密碼，完成後再次輸入ssh hadoop.master就可以免密碼登入了，剩餘的兩台虛擬機器重複以上步驟就可以了。這樣slave1,slave2,slave3就可以免密碼登入master了，但是master還不能免密碼登入slave1,slave2,slave3，分別進入另外三台虛擬機器重複以上步驟就可以了。

設定完成了，我們開始學習Hadoop的安裝吧

Hadoop的安裝

1.下載Hadoop安裝包，筆者學習使用的是Hadoop1.2.1。提供一下下載地址吧: http://apache.fayea.com/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz。

2.建立/usr/local目錄，進入此目錄，下載安裝包後解壓，解壓後出出現一個hadoop-1.2.1的資料夾,修改目錄名為hadoop，進入該資料夾，目錄結構如下圖所示

#進入/usr/local
cd /usr/local
#下載hadoop安裝包
wget http://apache.fayea.com/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
#等待下載完畢.....
#解壓剛下載好的安裝包(解壓完後安裝包可以刪除，但建議備份到其他目錄下)
tar -zxvf hadoop-1.2.1.tar.gz
mv hadoop-1.2.1 hadoop
cd hadoop
#檢視結構
ll

3.下一步我們設定一下環境變數，在/etc目錄下新建一個hadoop目錄，後期將hadoop相關組態檔放在該目錄下，直接使用該目錄下的組態檔，然後編輯/etc/profile檔案，追加如下設定並儲存，輸入source /etc/profile使設定立即生效:

#set hadoop environment
export HADOOP_HOME=/usr/local/hadoop 
export PATH=$HADOOP_HOME/bin:$PATH

##儲存修改後執行
source /etc/profile

4.怎麼看是否安裝成功呢？現在是單機模式，直接進入/usr/local/hadoop/bin目錄中執行start-all.sh命令,過程中會詢問是否連線，直接輸入yes

cd /usr/local/hadoop/bin
./start-all.sh

5.使用jps命令檢視hadoop進程是否啟動成功，如下圖所示:

6.因為現在是單機模式，NameNode和JobTracker沒有啟動，現在就使用hadoop fs -ls檢視是否安裝成功:

hadoop fs -ls

如上圖所示，顯示的是當前所在目錄的目錄結構，這樣就說明安裝成功了.重複以上步驟，為其他三台虛擬機器也安裝上吧！！

截止以上步驟，Hadoop的安裝已經完成了。在下一篇我們在講如何進行hadoop的叢集設定吧！敬請期待哦！

全部系列見：http://www.linuxidc.com/search.aspx?where=nkey&keyword=44572