Hadoop : Hadoop Test

앞서 설치와 설정은 Single Node 사용하는 경우이다.

완전 분산 모드로 설치 및 설정을 하면 좋겠지만 가난한 통계나부랭이는 돈이 없어 장비가 후지니 Single Node로 맛만 보자.

 

설치와 설정이 됐으니 간단하게 써봅시다.

 

 

# 폴더 생성
hdfs dfs -mkdir /user/
hdfs dfs -mkdir /user/admin
# 해당 폴더에 파일 업로드
hdfs dfs -put ~/hadoop-2.6.0/NOTICE.txt /user/admin

 

그러면 Utilities-Browse the file Systems 에서 해당 파일을 확인 할 수 있다.

 

 

 

 

다음의 Wordcount 예제를 실행하여 결과를 받아보자.

# wordcount 예제 실행하여 output 폴더에 저장한다.
yarn jar ~/hadoop-2.6.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /user/admin/ /output
# output 폴더의 내용을 확인
hdfs dfs -ls /output/
# output 폴더에서 결과를 로컬로 가지고 온다.
hdfs dfs -copyToLocal /output/part-r-00000 ~/part-r-00000
# 결과 확인
vi part-r-00000