Spark : Spark 1.4.0 설치

Hadoop을 설치했으니 이번에는 Spark를 설치해보자.

본인은 Spark 1.4.0 버전을 사용했다.

# Spark 1.4.0을 다운받는다
cd ~/Downloads
wget http://d3kbcqa49mib13.cloudfront.net/spark-1.4.0-bin-hadoop2.6.tgz
# 압축해제
tar -xvzf spark-1.4.0-bin-hadoop2.6.tgz<
# 파일 이동
mv spark-1.4.0-bin-hadoop2.6 ../
# 심볼릭 링크 생성
ln -s spark-1.4.0-bin-hadoop2.6 spark

일단 여기 까지 하면 설치는 끝, 간단히 테스트 정도로만 설치할 것이니 추가적인 설정은 없다.

(물론 세세한 설정에 대해서는 아직 공부해야할 것들이 많은지라...사용에 목적을 두고...)

그럼 pyspark를 실행해보자

# pyspark 실행
cd spark/bin
./pyspark

종료할 때는 exit() 를 입력하면 된다.