2012年6月3日 星期日

Hadoop on ubuntu12.04

參考國網中心的步驟。紀錄安裝過成...
http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab1

因為文章內容的各版本時間非常久了,所以自己依照現行可以找的較新的版本來安裝版本調整相關安裝的版本。

版本資訊
OS : ubuntu 12.04 32bit desktop
 Java : openjdk-1.7
Hadoop :  hadoop-0.20.2

需注意的點:

  1. 安裝ssh
  2. sun-java因為oracle的關係所以必須透過手動安裝。所以懶的手動安裝嘗試使用openjdk來當hadoop所需要的jvm。
  3. 國網中文章的的hadoop路徑已調整,須調整至 http://ftp.stut.edu.tw/var/ftp/pub/OpenSource/apache/hadoop/common/hadoop-0.20.2/hadoop-0.20.2.tar.gz

取至國網中心文件內容,並對有調整地方進行記錄。
安裝Hadoop
~$ cd /opt
/opt$ sudo wget http://ftp.stut.edu.tw/var/ftp/pub/OpenSource/apache/hadoop/common/hadoop-0.20.2/hadoop-0.20.2.tar.gz
/opt$ sudo tar zxvf hadoop-0.20.2.tar.gz
/opt$ sudo mv hadoop-0.20.2/ hadoop
/opt$ sudo chown -R hadoop:hadoop hadoop   // 紅色部分需要依照自己帳號與群組調整
/opt$ sudo mkdir /var/hadoop
/opt$ sudo chown -R hadoop:hadoop /var/hadoop  // 紅色部分需要依照自己帳號與群組調整

設定環境變數(可以使用nano等其他編輯器)
/opt$ cd hadoop/
#/opt/hadoop$ cat >> conf/hadoop-env.sh << EOF    // 可用其他習慣的編輯器

/opt/hadoop$ sudo nano conf/hadoop-env.sh

內容:

#export JAVA_HOME=/usr/lib/jvm/java-6-sun    // 此版本須手動自行安裝
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-i386
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=/opt/hadoop/conf







沒有留言: