반응형 멱등성1 [3주차] Airflow 소개 Airflow는 파이썬으로 작성된 데이터 파이프라인 (ETL) 프레임워크 - Airbnb에서 시작한 아파치 오픈소스 프로젝트 - 가장 많이 사용되는 데이터 파이프라인 관리/작성 프레임웍 - 데이터 파이프라인 스케줄링 지원 - 정해진 시간에 ETL 실행 혹은 한 ETL의 실행이 끝나면 다음 ETL 실행 - 웹 UI를 제공하기도 함 - 데이터 파이프라인(ETL)을 쉽게 만들 수 있도록 해줌 - 다양한 데이터 소스와 데이터 웨어하우스를 쉽게 통합해주는 모듈 제공 https://airflow.apache.org/docs/ - 데이터 파이프라인 관리 관련 다양한 기능을 제공해줌: 특히 Backfill - Airflow에서는 데이터 파이프라인을 DAG(Directed Acyclic Graph)라고 부름 - 하나의 .. 2023. 6. 18. 이전 1 다음 728x90
