hadoop4 Hadoop : Hadoop 2.6.0 설치 - 2 Hadoop을 다운 받자cd ~/Downloads/ # Hadoop Download wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz # 압축해제 tar -xzf hadoop-2.6.0.tar.gz # 해제된 폴더를 이동 mv hadoop-2.6.0 ../hadoop-2.6.0 cd ~ vi .bashrc 다음의 문장들을 맨 마지막줄에 추가한다. export HADOOP_HOME=/home/hadoop/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME expo.. 2015. 7. 14. Hadoop : Hadoop 2.6.0 설치 - 1 공부도 할겸 테스트도 할겸 해서 Hadoop 설치를 시도해봤다. 이래저래 해보다가 좀 정리를 해둬야 할것 같아서 포스팅을 작성했다. Hadoop 부터해서 Hive, Tajo, Spark, Zeppelin 까진 진행해서 정리 해둘려고 한다. 대략 환경은 다음과 같다. 1. 가상화 OS : CentOS 7 2. Hadoop : Hadoop 2.6.0 3. JDK : JDK 1.8.0_45 진행방법은 http://tecadmin.net/setup-hadoop-2-4-single-node-cluster-on-linux/ 를 참조했다(따라했다 ㅜㅜ) 먼저 당연히 CentOS 7을 설치한다. CentOS는 설치가 쉬운편이므로 생략한다. 1. JDK 1.8.0_45 설치# 사용자를 root로 변환 su # 설치는 /.. 2015. 7. 14. Apache Spark : Apache Spark 설치 Hadoop 2.6.0 설치 및 설정 완료 후 바로 Apache Spark-1.4.0을 받아서 설치 실행해봤다. 요즘에는 워낙 블로그에 잘 정리가 되어있어서 크게 어렵지 않은 것 같다... Spark를 써볼라니 Python과 Scala를 공부해야 하네... 공부할께 눈 덩이 처럼 불어난다. R도 공부 더해야 하는데 말이지... 2015. 7. 7. Hadoop : 삽질의 시작 항상 새로운 것을 시도하고 배운다는 것은 좋은 것이다. 새로운 호기심을 가지고 그 호기심을 해결한다는 건 내게 있어서 아주 중요한 요인 인데... 데이터 분석가로 살고자 하는 본인에게 Hadoop은 새로운 호기심이다. 물론 Hadoop 보다는 Hadoop 기반에서 동작하는 분석 프로그램들이 주요 관심사지만 그러다 보니 Hadoop을 몰라서는 뭔가 테스트를 해볼려고 해도 환경이 여의치 않다. 고로 요즘에는 Centos7 3개 설치해서 hadoop 설치 및 운영 삽질을 계속 하는 중이다. ㅠㅠ 망할넘의 "Unable to load native-hadoop library for your plaform"... 아직 해결 못하고 있다... ㅠㅠ 2015. 7. 5. 이전 1 다음
