본문 바로가기
Data Analysis/Hadoop & Spark

Hadoop : Hadoop 2.6.0 설치 - 2

by 불탄오징어 2015. 7. 14.
반응형

Hadoop을 다운 받자

cd ~/Downloads/
# Hadoop Download
wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
# 압축해제
tar -xzf hadoop-2.6.0.tar.gz
# 해제된 폴더를 이동
mv hadoop-2.6.0 ../hadoop-2.6.0

cd ~
vi .bashrc

다음의 문장들을 맨 마지막줄에 추가한다.
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

저장한 후 다음과 같이 하여 적용한다.
source ~/.bashrc

다음에는 아래의 파일을들 각각 수정하자.

 

   $HADOOP_HOME/etc/hadoop/hadoop-env.sh

# JAVA_HOME 옵션 수정
export JAVA_HOME=/opt/jdk1.8.0_31/

 

   ⊙ $HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>
<property>
  <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
</configuration>

   ⊙ $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>
<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>
<property>
  <name>dfs.name.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
</property>
<property>
  <name>dfs.data.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
</property>
</configuration>

 

   $HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
 <property>
  <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
</configuration>

 

   ⊙ $HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
 <property>
  <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
</configuration>

 

 

파일들을 수정했으면 Namenode를 Format한 후 hadoop을 Start한다.

hdfs namenode -format
$HADOOP_HOME/sbin/start-all.sh

아래의 주소와 Port로 접속하여 정상 구동하는지 확인한다.

 

     http://[IP Adress]:50070/

     

 

 

 

     http://[IP Adress]:8088/

'Data Analysis > Hadoop & Spark' 카테고리의 다른 글

Hadoop : Hadoop Test  (0) 2015.07.14
Hadoop : Hadoop 2.6.0 설치 - 1  (0) 2015.07.14
Hadoop : 삽질의 시작  (0) 2015.07.05

댓글