반응형 1주차3 [1주차] 데이터 엔지니어링, 데이터 웨어하우스란? 데이터 엔지니어링은 무엇인가 1. 데이터 웨어하우스 관리 2. 데이터 파이프라인(ETL=dag=data job) 관리 데이터 파이프라인 형식: batch vs realtime() ※ ETL(extract, transform, load)은 데이터웨어하우스 밖에 있는 데이터를 안으로 가져오는거 ※ ELT: 안에 있는걸 조합해서 새로운 데이터 만드는 것 데이터 엔지니어가 알아야 하는 기술 SQL: Hive, SQL, ... Programming Lanuage: Python, Scala, Java ETL/ELT Scheduler: Airflow, ... Cloud Computing: AWS Container Technology: K8S, Docker 데이터 웨어하우스란 무엇인가? 데이터 분석용 전용 데이터베이스.. 2023. 6. 7. [1주차] 데이터 팀의 비전과 가치를 만들어내는 방법 데이터 팀의 비전과 가치를 만들어내는 방법 Data warehouse: 데이터 분석을 위한 데이터베이스 ETL: 파이프라인, 내외부 데이터를 수집해 적재 데이터 파이프라인이 많아지면 airflow를 통해 관리하게 된다. 이런 일들을 하는 사람이 데이터 엔지니어다. 데이터 팀의 가치 1. 의사결정을 데이터 기반으로 객관적, 과학적 2. 데이터 과학자들이 데이터 속에서 패턴을 찾아서 서비스 개선 , 사용자들의 경험을 개인화를 통해 서비스 개선, 운영비용감소 데이터 팀의 비전 에어비앤비의 비전: build leverage for the company through trustworthy data, 신뢰할수 있는 데이터를 가지고 회사의 부가가치를 만든다 데이터 팀이 할수있는것은 회사의 가치를 높여주는것이다. 기여.. 2023. 6. 6. [1주차] 교육 커리큘럼과 요즘 커리어에 대해서 7주차 커리큘럼 1주차: 데이터팀의 역할과 Redshift 소개 2주차: SQL for Data Engineers 3주차: ETL/Airflow 소개 4주차: Airflow Deepdive 5주차: Airflow Deepdive 2 6주차: Productionizing Airflow 7주차: Spark과 커리어 톡(취준/면접) 요즘의 커리어란? 커리어는 정글짐이다. 예전에는 평생직장이라는 개념이 있어서 사다리에 비유할 수 있었고 큰 회사를 갈수록 좋았다. 하지만 시대가 변해서 이제는 어느 회사를 가든 대부분의 사람들이 여러 회사를 다니게 되는 경우가 많아서 큰 회사를 가는게 의미가 없다. 즉 커리어는 길게 바라봐야하고 남이랑 비교할 필요가 없다. 내가 원하는게 뭔지 생각하고 내가 생각하는 나의 삶을 살자.. 2023. 6. 6. 이전 1 다음 728x90
