Data Analysis/Hadoop & Spark4 Hadoop : Hadoop Test 앞서 설치와 설정은 Single Node 사용하는 경우이다. 완전 분산 모드로 설치 및 설정을 하면 좋겠지만 가난한 통계나부랭이는 돈이 없어 장비가 후지니 Single Node로 맛만 보자. 설치와 설정이 됐으니 간단하게 써봅시다. # 폴더 생성 hdfs dfs -mkdir /user/ hdfs dfs -mkdir /user/admin # 해당 폴더에 파일 업로드 hdfs dfs -put ~/hadoop-2.6.0/NOTICE.txt /user/admin 그러면 Utilities-Browse the file Systems 에서 해당 파일을 확인 할 수 있다. 다음의 Wordcount 예제를 실행하여 결과를 받아보자.# wordcount 예제 실행하여 output 폴더에 저장한다. yarn jar ~/ha.. 2015. 7. 14. Hadoop : Hadoop 2.6.0 설치 - 2 Hadoop을 다운 받자cd ~/Downloads/ # Hadoop Download wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz # 압축해제 tar -xzf hadoop-2.6.0.tar.gz # 해제된 폴더를 이동 mv hadoop-2.6.0 ../hadoop-2.6.0 cd ~ vi .bashrc 다음의 문장들을 맨 마지막줄에 추가한다. export HADOOP_HOME=/home/hadoop/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME expo.. 2015. 7. 14. Hadoop : Hadoop 2.6.0 설치 - 1 공부도 할겸 테스트도 할겸 해서 Hadoop 설치를 시도해봤다. 이래저래 해보다가 좀 정리를 해둬야 할것 같아서 포스팅을 작성했다. Hadoop 부터해서 Hive, Tajo, Spark, Zeppelin 까진 진행해서 정리 해둘려고 한다. 대략 환경은 다음과 같다. 1. 가상화 OS : CentOS 7 2. Hadoop : Hadoop 2.6.0 3. JDK : JDK 1.8.0_45 진행방법은 http://tecadmin.net/setup-hadoop-2-4-single-node-cluster-on-linux/ 를 참조했다(따라했다 ㅜㅜ) 먼저 당연히 CentOS 7을 설치한다. CentOS는 설치가 쉬운편이므로 생략한다. 1. JDK 1.8.0_45 설치# 사용자를 root로 변환 su # 설치는 /.. 2015. 7. 14. Hadoop : 삽질의 시작 항상 새로운 것을 시도하고 배운다는 것은 좋은 것이다. 새로운 호기심을 가지고 그 호기심을 해결한다는 건 내게 있어서 아주 중요한 요인 인데... 데이터 분석가로 살고자 하는 본인에게 Hadoop은 새로운 호기심이다. 물론 Hadoop 보다는 Hadoop 기반에서 동작하는 분석 프로그램들이 주요 관심사지만 그러다 보니 Hadoop을 몰라서는 뭔가 테스트를 해볼려고 해도 환경이 여의치 않다. 고로 요즘에는 Centos7 3개 설치해서 hadoop 설치 및 운영 삽질을 계속 하는 중이다. ㅠㅠ 망할넘의 "Unable to load native-hadoop library for your plaform"... 아직 해결 못하고 있다... ㅠㅠ 2015. 7. 5. 이전 1 다음
