[Pig] Pig 설치 및 개요

2023.06.13 (TUE) 학습정리
#Hadoop #Pig

---

1. Pig 개념

Apache Pig는 하둡을 기반으로 실행되는 오픈 소스 Apache 라이브러리로, Java와 같은 낮은 수준의 컴퓨터 언어로 복잡한 코드를 작성할 필요가 없이 대규모 dataset을 변환하는 데 사용할 수 있는 script language를 제공

• 개발이 복잡하고 많은 시간을 소요하는 맵리듀스의 단점을 보완
• 다중 값과 중첩된 형태를 보이는 다양한 데이터 구조를 지원
• 사용자 정의 함수를 통해 확장 가능

---

2. Pig 설치 (ubuntu 환경)

🔗 설치 - 공식문서 

• 설치

cd ~/tmp # 임시 폴더에 파일 다운로드 및 압축 해제
wget http://mirror.navercorp.com/apache/pig/pig-0.17.0/pig-0.17.0.tar.gz
tar -xvf pig-0.17.0.tar.gz

# 하둡 폴더로 이동
mv pig-0.17.0 $HADOOP_HOME/

• path 설정

# ~/.zshrc 에 아래 내용 작성

# ping config
export PIG_HOME=$HADOOP_HOME/pig-0.17.0
export PATH=$PATH:$PIG_HOME/bin

• 설치 확인

$ source ~/.zshrc

$ pig
2023-06-13 07:30:01,355 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL
2023-06-13 07:30:01,358 INFO pig.ExecTypeProvider: Trying ExecType : MAPREDUCE
...
& grunt> ls /sub #hadoop dir 확인
hdfs://localhost:9000/sub/hive   <dir>
...