[Hive] Hive table에서 partition 사용하기

2023.06.14 (Wed) 학습정리
#Hive #Partition

---

1. Partition

파티셔닝으로 테이블을 분할하여 전체 탐색이 아닌 hierarchical구조로 탐색함으로써 빠른 검색이 가능

ex) 날짜 별로 파티셔닝하여 전체 테이블에서 특정 날짜의 데이터를 검색

 

partitioning 방식에는 아래와 같은 2가지 방식이 존재

정적 파티션 (Static Partition)	data를 insert 할 때 어떤 partition에 data를 insert할지 명시
동적 파티션 (Dynamic Partition)	data를 insert 할 때 partition 명시를 하지 않아도 자동으로 partition 이 나누어짐

 

1-1. 정적 파티션 (Static Partition)

partition table에 새로운 data를 insert 할 때, INSERT문에 partition 값을 고정된 값으로 함께 명시해야함

ㄴ 아래 예시와 같이 INSERT문에서 partition 값에 고정된 값 '20230601'을 명시

 

📌 정적 파티션 테이블 생성 예시

CREATE TABLE partition_tb(
    a STRING
    b STRING)
    PARTITIONED BY (date STRING);
    
INSERT INTO TABLE partition_tb(date='20230601')
SELECT a, b FROM raw_tb;

 

1-2. 동적 파티션 (Dynamic Partition)

partition table에 새로운 data를 insert 할 때, INSERT문에 고정된 partition 값을 명시하지 않는 대신 partition 정보를 조회하는 column을 추가하여 전달 (단, column 중 가장 마지막에 partition column을 위치)

ㄴ 아래 예시와 같이 INSERT문에서 date 컬럼을 함꼐 전달 

 

hive에서 동적 partition을 사용하기 위해서는 아래와 같은 기본 setting이 필요

• 기본 설정

set hive.exec.dynamic.partition = ture; # hive에서 동적 partition 수행 o
set hive.exec.dynamic.partition = false; # default : hive에서 동적 partition 수행 x

• partition key 자동생성

hive에서는 동적 파이션 단독 사용을 권장하지 않으므로 동적 파이션만을 사용하기 위해서는 nonstrict 설정 必

set hive.exec.dynamic.partition.mode = nonstrict; # partition key 자동 생성
set hive.exec.dynamic.partition.mode = strict; # default : 최소 1개 이상의 static partition 必

• 최대 partition key 개수

set hive.exec.max.dynamic.partitions = 1000; 
# default : 200, partition key로 사용할 column의 unique value를 확인 후 설정

• tezfile merge

작은 사이즈의 파일이 많이 생성되면 HDFS에 부담이 될 수 있으므로 일부 file merge

set hive.merge.tezfiles = true;
# tez 작업 후 너무 작은 크기의 file들은 merge 진행

 

📌 동적 파티션 테이블 생성 예시

CREATE TABLE partition_tb(
    a STRING
    b STRING)
    PARTITIONED BY (date STRING);
    
INSERT INTO TABLE partition_tb(date)
SELECT a, b, date FROM raw_tb;

 

2. Partition 조회/수정/삭제 명령어

2-1. Hadoop 명령어

Hadoop에 생성된 partition 폴더 확인하기

# hdfs dfs -ls /경로/partittion_tb/date=20230601/
hdfs dfs -ls /user/hive/warehouse/partittion_tb/date=20230601/

# 참고사항 - table 이름으로 검색하기
hdfs dfs -ls -R / | grep table_name

 

2-2. Hive 명령어

• table 정보 확인

DESCRIBE FORMATTED table_name;

• partition 조회

show partitions table_name;

• partition 조건 검색

select * from partiton_tb where date='20230601';

• partition 추가

ALTER TABLE partition_tb ADD PARTITION (date='20230610');

• partition 삭제

ALTER TABLE partition-tb DROP PARTITION (date='20230610');