[Zeppelin / Spark] ubuntu 환경에서 Apache Zeppelin / Spark 설치하기

2023.06.20 (Mon) 학습정리
#Zeppelin #Spark

---

이전글에서 spark, zeppelin을 docker로 설치하여 간단히 활용해봤는데,

이번에는 hdfs와의 연동을 위해 로컬 (ubuntu) 환경에서 설치하고자 함

1. Zeppelin 설치

🔗 공식 설치 문서

• 설치 파일 다운 및 압축 해제

cd tmp # 임시파일로 이동 후 설치파일 다운로드
wget https://dlcdn.apache.org/zeppelin/zeppelin-0.10.1/zeppelin-0.10.1-bin-all.tgz

tar zxvf zeppelin-0.10.1-bin-all.tgz # 압축 해제 및 설치 진행
mv zeppelin-0.10.1-bin-al /home/app/ # 경로 이동

• (참고) path 설정

server port 변경 원할 시, zeppelin-site.xml에 아래 내용 수정 

cd /home/app/zeppelin-0.10.1-bin-al/conf
cp zeppelin-site.xml.template zeppelin-site.xml

vi zeppelin-site.xml

# zeppelin-site.xml

<property>
  <name>zeppelin.server.addr</name>
  <value>0.0.0.0</value>
  <description>Server binding address</description>
</property>

<property>
  <name>zeppelin.server.port</name> # port 변경
  <value>7777</value>
  <description>Server port.</description>
</property>

• 실행

# zeppelin-0.10.1-bin-all/bin/
zeppelin-daemon.sh start

---

2. Spark 설치

2-1. spark 설치 및 실행 

🔗 공식 설치 문서

• 설치 파일 다운 및 압축 해제

cd tmp # 임시파일로 이동 후 설치파일 다운로드
wget https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz

tar zxvf spark-2.4.0-bin-hadoop2.7.tgz # 압축 해제 및 설치 진행
mv spark-2.4.0-bin-hadoop2.7 /home/app/ # 경로 이동

• configure 파일 생성

cd /home/app/spark-2.4.0-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh

• path 설정

vi ~/.zshrc # vim 파일을 열어 아래 내용 추가

# spark env
export SPARK_HOME=/home/app/spark-2.4.0-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

• 실행

# /home/app/spark-2.4.0-bin-hadoop2.6/sbin
start-master.sh
start-slaves.sh

 

2-2. Spark Web UI (Spark Master) Port 변경

Spark Master Web UI의 port 번호는 기본적으로 8080으로, 기존에 설치되어있던 airflow와 중복되므로 port를 변경하였음

위에서 template를 복사하여 생성한 spark-env.sh에 아래 내용을 작성하여 변경 가능

cd $SPARK_HOME/conf
vi spark-env.sh

# spark-env.sh에 아래 내용 작성
export SPARK_MASTER_WEBUI_PORT=80801