Spark - Stand alone 클러스터

이번에는 클러스터 모드의 스파크를 기동해보겠다. 먼저 가장 단순한 형태인 StandAlone 클러스터를 구축해보고 클러스터 상에서 스파크 작업을 수행하는 것을 목표로 한다.

다운로드

스파크 공식 사이트의 다운로드 페이지(http://spark.apache.org/downloads.html )에서 적당한 스파크를 버전을 다운로드 받은 후 로컬PC의 적당한 디렉토리에 압축해제를 해보자.

$ ls -al
total 112
drwxr-xr-x@  16 devsun  staff    544 12 16 11:18 .
drwxr-xr-x   36 devsun  staff   1224  2 17 10:14 ..
-rw-r--r--@   1 devsun  staff  17811 12 16 11:18 LICENSE
-rw-r--r--@   1 devsun  staff  24645 12 16 11:18 NOTICE
drwxr-xr-x@   3 devsun  staff    102 12 16 11:18 R
-rw-r--r--@   1 devsun  staff   3818 12 16 11:18 README.md
-rw-r--r--@   1 devsun  staff    128 12 16 11:18 RELEASE
drwxr-xr-x@  25 devsun  staff    850 12 16 11:18 bin
drwxr-xr-x@   9 devsun  staff    306 12 16 11:18 conf
drwxr-xr-x@   5 devsun  staff    170 12 16 11:18 data
drwxr-xr-x@   4 devsun  staff    136 12 16 11:18 examples
drwxr-xr-x@ 209 devsun  staff   7106 12 16 11:18 jars
drwxr-xr-x@  38 devsun  staff   1292 12 16 11:18 licenses
drwxr-xr-x@  17 devsun  staff    578 12 16 11:18 python
drwxr-xr-x@  24 devsun  staff    816 12 16 11:18 sbin
drwxr-xr-x@   3 devsun  staff    102 12 16 11:18 yarn

클러스터 구동

마스터 구동

sbin 디렉토리 하위의 start-master.sh을 수행한다.

$ ./sbin/start-master.sh
starting org.apache.spark.deploy.master.Master, logging to /Users/devsun/dev/spark-2.1.0-bin-hadoop2.7/logs/spark-devsun-org.apache.spark.deploy.master.Master-1-toddsonui-MacBook-Pro.local.out

정상적으로 수행되었다면 http://localhost:8080으로 접속해 마스터 웹 UI를 확인할 수 있다.

슬레이브 구동

sbin 디렉토리 하위의 start-slave.sh을 수행한다. 인자로 master-spark-URL을 넘겨줘야하는데 디폴트는 spark://localhost:7077이다. 커스텀하게 설정하는 방법은 다음에 알아본다.

$ ./start-slave.sh spark://localhost:7077
starting org.apache.spark.deploy.worker.Worker, logging to /Users/devsun/dev/spark-2.1.0-bin-hadoop2.7/logs/spark-devsun-org.apache.spark.deploy.worker.Worker-1-toddsonui-MacBook-Pro.local.out

정상적으로 수행되었다면 마스터 웹 UI에서 워커가 추가된 것을 확인할 수 있다.