📊 Data/Engineering
[Airflow with Docker] Airflow 및 Docker 명령어 기초
2023.05.22/23 (Mon / Tue) 학습 정리 #Airflow #Docker #Dag 1. Airflow Workflow를 구축하고 실행 가능한 배치 스케쥴링(파이프라인) 플랫폼 반복된 작업을 자동화하기 위해 사용하며 Workflow는 DAG(Direted Acyclic Graph)를 통해 구조화됨 구조 Scheduler / executor : task를 모니터링하고 실행 순서와 상태관리 Worker : task를 실행하는 공간 Webserver : User Interface를 제공 Dag Directory : 실행할 task들을 파이프라인 형태로 저장 Metadata Database : 실행할 task에 관한 정보를 저장 Docker로 Airflow 설치 🔗 How to Run Airflow..
