[Sqoop] Sqoop 설치 및 개요

2023.06.08 (THU) 학습정리
#sqoop

---

1. Sqoop 개념

sqoop은 RDBMS와 HDFS 사이에서 데이터 전송을 지원하는 툴로 MapReduce방식으로 동작

기본적으로 text file형식으로 HDFS에 적재되지만, 추가 설정으로 sequence file, avro, parquet에 대한 형식을 지원

• HDFS 저장소 기준, import(RDBMS -> HDFS), export(HDFS -> RDBMS)

---

2. sqoop 설치

🔗apache sqoop 공식문서

Sqoop Documentation (v1.4.7)

 

• 설치파일 다운로드 및 압축 해제

# 설치파일 다운로드 및 압축 해제
wget https://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

# 파일을 HADOOP 폴더로 이동
mv sqoop-1.4.7.bin__hadoop-2.6.0 $HADOOP_HOME/
cd $HADOOP_HOME/sqoop-1.4.7.bin__hadoop-2.6.0

• 환경변수 설정

vi ~/.zshrc

# ~/.zshrc에 아래 내용 작성
export SQOOP_HOME=$HADOOP_HOME/sqoop-1.4.7.bin__hadoop-2.6.0
export SQOOP_CONF_DIR=$SQOOP_HOME/conf
export PATH=$PATH:$SQOOP_HOME/bin

# 재실행
source ~/.zshrc

• sqoop-env.sh 설정 추가

cd $SQOOP_CONF_DIR
cp sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh

# sqoop-env.sh 에 아래 내용 작성
# hadoop 관련 설정
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HIVE_HOME=$HIVE_HOME

• mysql-connector 다운로드

#mysql version 확인
mysql -V

위에서 확인한 mysql 버전과 맞는 설치파일을 찾아 다운로드  🔗 mysql-connector-download

cd ~/tmp #임시 폴더로 이동 후 해당 폴더에 local에서 설치된 파일 upload
mv /mnt/c/로컬경로/Downloads/mysql-connector-j-8.0.33.tar.gz .
tar xvf mysql-connector-j-8.0.33.tar.gz #압축 해제
cd mysql-connector-j-8.0.33
cp mysql-connector-j-8.0.33.jar $SQOOP_HOME/lib #sqoop 폴더로 이동

• apache-commons-lang 다운로드

cd ~/tmp #임시 폴더로 이동 후 해당 폴더에 local에서 설치된 파일 upload
mv /mnt/c/로컬경로/Downloads/commons-lang-2.6-bin.tar.gz .
tar xvf commons-lang-2.6-bin.tar.gz #압축 해제
cd commons-lang-2.6
cp commons-lang-2.6.jar $SQOOP_HOME/lib #sqoop/lib 폴더로 이동

---

3. Sqoop 실습

• 데이터베이스 목록 보기

# list-databases
$ sqoop list-databases --connect jdbc:mysql://localhost:[mysql포트번호] --username [hive username] --password [hive pw]
information_schema
performance_schema
metastore

• 데이터베이스 테이블 가져오기 

# import RDBMS -> HDFS # metastore db에서 COLUMNS_V2 테이블 가져오기
$ sqoop import --connect jdbc:mysql://localhost:[mysql포트번호]/metastore --table COLUMNS_V2 --target-dir [hdfs 경로]  --username [hive username] --P -m 1
$ hdfs dfs -ls [hdfs 경로]
Found 2 items
-rw-r--r--   1 tom supergroup          0 2023-06-08 10:50 [hdfs 경로]/_SUCCESS
-rw-r--r--   1 tom supergroup       3966 2023-06-08 10:50 [hdfs 경로]/part-m-00000

---

4.  기타 참고 사항

4-1. mysql port 번호 확인하기

일반적으로 port 번호는 3306이나 해당 번호가 아닐 경우, 아래방식으로 확인 가능

$ mysql -u root -p # mysql 접속

$ mysql > SHOW GLOBAL VARIABLES LIKE 'PORT';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| port          | 3306  |
+---------------+-------+
1 row in set (0.01 sec)