[1주차] 데이터 팀의 비전과 가치를 만들어내는 방법

데이터 팀의 비전과 가치를 만들어내는 방법

Data warehouse: 데이터 분석을 위한 데이터베이스

ETL: 파이프라인, 내외부 데이터를 수집해 적재

데이터 파이프라인이 많아지면 airflow를 통해 관리하게 된다. 이런 일들을 하는 사람이 데이터 엔지니어다.

 

데이터 팀의 가치

1. 의사결정을 데이터 기반으로 객관적, 과학적

2. 데이터 과학자들이 데이터 속에서 패턴을 찾아서 서비스 개선 , 사용자들의 경험을 개인화를 통해 서비스 개선, 운영비용감소

 

데이터 팀의 비전

에어비앤비의 비전: build leverage for the company through trustworthy data, 신뢰할수 있는 데이터를 가지고 회사의 부가가치를 만든다

데이터 팀이 할수있는것은 회사의 가치를 높여주는것이다. 기여방법은

1. 더 좋은 의사 결정

2 상품/서비스 개선

- 머신 러닝을 통해 사용자의 서비스 경험을 개선 ex) 개인화를 바탕으로 추천 서비스

- 머신 러닝을 통해 운영 비용 줄이기 ex) 공정과정에서 오동장 기기 예측

 

데이터 팀을 구성하는 구성원

1. 데이터 엔지니어: 데이터 분석용 db를 관리, 데이터 파이프라인(ETL) 구축 및 관리

- 데이터웨어하우스 종류: AWS Redshift, 구글 클라우드의 Big Query, Snowflake

- 데이터파이프라인이란 a라는 장소에서 b로 옮겨주는 작업, ETL이라 부른다

2. 데이터 분석가: 비즈니스 인텔리전스 담당, 주요 지표 정의 및 대시보드 생성

3. 데이터 과학자: 사용자 경험을 통해 알고리즘을 만든다. 끈기, 실용적인 생각 필요

4. ml 엔지니어

5. 분석 엔지니어

MlOps: 데이터 과학자가 만든 머신러닝모델을 테스트하고 배포하고 모니터링 하는 역할

DevOps: 개발자가 개발한코드를 서비스에 배포 모니터링하느 역할

 

데이터 팀의 조직구조

중앙화

- 데이터 팀간 지식 공유 및 협업 증가

- 함께 성장하기 좋음

 

하이브리드

- 가장 이상적인 구조

- 데이터 과학자/분석가의 우선순위 및 업무는 중앙팀과 각 외부팀이 일괄적으로 결정

 

 

데이터 팀에서 배웠던 교훈

1. 매출에 기여해야한다

2. 데이터 인프라가 중요하다

3. 데이터 분석에는 데이터 품질이 중요하다

4. 무슨 일을 하건 내 일의 성공여부를 결정해주는 지표를 생각해야 한다

5. 간단한 솔루션일수록 좋은 솔루션이다(딥러닝이 무조건 좋은건 아님, 상황에 맞게 사용해야함)