[Hive] Hive 설치 및 개요

2023.05.31 (Wed) 학습 정리
#Hive

---

1. Hive 개념

HiveQL(Hive Query Language)을 사용하여 하둡 에코시스템 중에서 데이터를 모델링하고 프로세싱하는 하둡 기반의 데이터 웨어하우스솔루션

UI	사용자가 퀴리 및 기타 작업을 시스템에 제출하는 사용자 인터페이스 - CLI, Beeline, JDBC 등
Driver	쿼리를 입력받고 작업을 처리
Compiler	Metastore를 참고하여 쿼리 구문을 분석하고 실행 계획을 생성
Metastore	디비, 테이블, 파티션의 정보를 저장
Execution Engie	컴파일러에 의해 생성된 실행 계획을 시행

---

2. Hive 설치 (ubuntu 환경)

Hive 설치 전, Hadoop + mysql 설치하기 🔗 Hadoop 설치

2-1. mysql 설치

• 설치

$ sudo apt update
$ sudo apt install mysql-server
$ mysql --version
mysql  Ver 8.0.33-0ubuntu0.22.04.2 for Linux on x86_64 ((Ubuntu))

$ sudo service mysql stop
$ sudo usermod -d /var/lib/mysql/ mysql
$ sudo service mysql start
$ sudo service mysql status
● mysql.service - MySQL Community Server
     Loaded: loaded (/lib/systemd/system/mysql.service; enabled; vendor preset: enabled)
     Active: active (running) since Wed 2023-05-31 11:35:44 KST; 3s ago
		...

• 보안설정

$ sudo mysql_secure_installation #상황에 맞게 y/n 입력

• 비밀번호 설정

$ sudo mysql
mysql > ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '비밀번호';
mysql > FLUSH PRIVILEGES;
mysql > exit; #종료

• Hive 계정 생성

$ mysql -u root -p
mysql> CREATE USER 'hive'@'%' IDENTIFIED BY '비밀번호';
mysql> GRANT ALL PRIVILEGES ON metastore.* TO 'hive'@'%';
mysql>  FLUSH PRIVILEGES;
mysql> exit

 

2-2. Hive 설치

• 설치 파일 다운로드 및  압축 해제

sudo curl -o /usr/local/apache-hive-3.1.2-bin.tar.gz https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
sudo mkdir -p /usr/local/hive && sudo tar -xvzf /usr/local/apache-hive-3.1.2-bin.tar.gz -C /usr/local/hive --strip-components 1

• 환경변수 설정

# ~/.zshrc에 아래 내용 추가

# hive env
export HIVE_HOME=/usr/local/hive
export PATH=$HIVE_HOME/bin:$PATH

• hive-site.xml 설정

위에서 설정한 hive 계정의 비밀번호를 hive-site.xml 설정 시 입력

source ~/.zshrc #터미널 재시작
sudo vi $HIVE_HOME/conf/hive-site.xml

# $HIVE_HOME/conf/hive-site.xml에 아래내용 추가

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&amp;serverTimezone=Asia/Seoul</value>
        <description>metadata is stored in a MySQL server</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
        <description>MySQL JDBC driver class</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value> #위에서 설정한 hive 계정의 username 입력
        <description>user name for connecting to mysql server</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>비밀번호</value> #위에서 설정한 hive 계정의 비밀번호 입력
        <description>hivepassword for connecting to mysql server</description>
    </property>
</configuration>

• HDFS 디렉토리 생성 및 권한 할당

hdfs dfs -mkdir -p /sub/tmp
hdfs dfs -mkdir -p /sub/hive/warehouse
hdfs dfs -chmod g+w /sub/tmp
hdfs dfs -chmod g+w /sub/hive/warehouse

• JDBC driver 다운로드

sudo curl -o $HIVE_HOME/lib/mysql-connector-java-8.0.22.jar https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.22/mysql-connector-java-8.0.22.jar
sudo mkdir -p /usr/local/hive && sudo tar -xvzf /usr/local/apache-hive-3.1.2-bin.tar.gz -C /usr/local/hive --strip-components 1

• hadoop과 hive의 guava version 맞추기

sudo rm -rf $HIVE_HOME/lib/guava-19.0.jar #hive의 guava 삭제 → hadoop의 guava 복사
sudo cp $HADOOP_HOME/share/hadoop/common/lib/guava-27.0-jre.jar $HIVE_HOME/lib/

• meatastore 데이터 베이스 초기화

hive --service schemaTool -dbType mysql -initSchema

---

3. Hive 명령어

3-1. 기본 명령어

• hive 시작

hive

• 기초 명령어

show databases; #db 목록 출력
use [데이터베이스명]; #db 사용
show tables; #테이블 목록 출력

show create table [테이블명]; #테이블 생성 쿼리 출력

 

3-2. 데이터 파일을 table로 만들기

• 데이터 파일 업로드

cp /mnt/[local 경로]/data.csv [ubuntu 전송 경로] 

#/sub/hive/data/ 경로에 data.csv 파일 업로드 #업로드 전 경로 폴더 만들기 必
cd [ubuntu 내 파일 경로] 
hdfs dfs -put data.csv /sub/hive/data/

• CREATE TABLE

$ hive # hive 실행

hive > CREATE EXTERNAL TABLE IF NOT EXISTS tb_tmp( #tb_tmp 테이블이 없을 경우 create
        A STRING, #STRING 형식으로 A열 가져오기
        B STRING,
        C STRING,
        D STRING,
        ...)
        ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' # 구분자 = ','
        STORED AS TEXTFILE
        LOCATION '/sub/hive/data/' #파일 경로 지정 
        tblproperties ("skip.header.line.count"="1"); # 헤더 무시

• 또는 , hql 파일에 쿼리문 작성 후 실행

vi sb.hql #hive 실행하지 않은 상태에서 vi 편집기 열기

#sb.sql

CREATE EXTERNAL TABLE IF NOT EXISTS tb_tmp( #tb_tmp 테이블이 없을 경우 create
        A STRING, #STRING 형식으로 A열 가져오기
        B STRING,
        C STRING,
        D STRING,
        ...)
        ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' # 구분자 = ','
        STORED AS TEXTFILE
        LOCATION '/sub/hive/data/' #파일 경로 지정 
        tblproperties ("skip.header.line.count"="1"); # 헤더 무시

$ hive -f sb.hql #실행하기

• 테이블 확인하기

$ hive

hive > show tables; # 생성된 table 확인
hive > select * from tb_tmp limit 10 # 10행까지 출력