데이터 메시를 읽고
·
책 & 스터디
회사가 커지고 데이터를 보고자 하는 조직이 많아지면 중앙집중식 데이터팀에서 모든 데이터 요청을 처리하기가 힘들어지는 순간이 온다. 특히 데이터팀은 운영데이터의 소비자로서 운영데이터를 만드는데는 직접적으로 관여하지 않고, 운영데이터는 말그대로 서비스 운영에 최적화 되어있지 데이터 수집 관점에서는 최적화되어있지 않다. 조직에서는 (특히 스타트업) 기능이 날마다 빠르게 추가되기 때문에 운영데이터 또한 변경이 빠르고 자주 일어난다. 그래서 항상 확장가능성을 생각하고 데이터 파이프라인을 작업해도 항상 스키마와 변환 로직은 깨지기 일쑤이고, 매번 신기능에 대해 요청이 들어오면 신기능의 데이터 구조를 파악하느라 빠른대처가 불가능하다. 운영에서는 빠르게 실험하고 분석결과를 보고싶어하는데, 중앙 데이터팀은 매번 새로운 ..