오늘은 함께자라기 애자일로 가는길 이라는 책에 대한 리뷰를 하려 한다.부트캠프 시절부터 애자일이라는 단어를 종종 들어왔었다. 몇번 애자일의 뜻이 뭔지 검색해봤었던것 같은데 설명을 봐도 무슨 말인지 쉽게 와닿지 않아서 잊고 있던 단어였다. 이 책에서는 단순히 개발 방법론이 아니라 삶의 태도적인 관점에서 학습하기와 협력하기로 차근차근 풀어서 설명을 해준다. 읽으면서 공감가는 내용도 정말 많았고, 이전에 일하던 조직에서 어떤 것이 힘들었는지 구체적으로 깨닫게 되는 점도 있었다.1장 자라기 파트에서는 학습에 관한 이야기를 한다. 학교학습과 대비되는 개념으로 야생학습을 말하는데 현실 세계에서는 야생학습이 더 많이 필요하다고 한다. 이런 야생학습을 잘하기 위해 학습방법론을 소개해주는 것이 1장의 내용이다. 축약하자..

7. 파이프라인 오케스트레이션 오케스트레이션은 파이프라인의 단계가 올바른 순서로 실행되고 단계 간의 종속성이 적절하게 관리되게 한다. 방향성 비순환 그래프 DAG(Directed Acyclic Graph) 연결 방향이 존재하고 순회하지 않는 그래프. 한 작업이 완료된 이후에 다음 작업이 실행되며, 이전 작업으로 돌아가지 않는다. 아파치 에어플로우 상호 종속성이 있는 여러 작업을 포함하는 워크플로(특히 데이터파이프라인)를 모니터링. 파이썬으로 빌드되었지만 모든 언어 / 플랫폼에서 실행되는 작업을 실행 가능. 데이터베이스를 사용하여 DAG의 실행 기록, 에어플로우 구성과 관련된 메타데이터를 저장. 기본적으로 SQLite를 사용하지만, 대규모 요구사항의 경우 MySQL 또는 Postgres를 사용하는 것이 좋..

1. 데이터 파이프라인 소개 데이터 파이프라인이란? 다양한 소스에서 새로운 가치를 얻을 수 있는 대상으로 데이터를 옮기고 변환하는 일련의 과정이다. 분석, 리포팅, 머신러닝 능력의 기초가 된다. 데이터 파이프라인은 일반적으로 데이터 추출, 데이터 가공, 데이터 유효성 검사를 포함한 여러 단계로 구성되며, 때로는 데이터를 최종 목적지로 전달하기 전에 머신러닝 모델을 학습하거나 실행하는 단계가 있기도 하다. 한마디로 언제든지 필요한 데이터를 가져와 꺼내 쓸 수 있도록 데이터를 쌓아두는 파이프를 만드는 것이라고 보면된다. 데이터 엔지니어의 역할 클라우드 컴퓨팅과 Saas(Software as a service) 가 대중화되면서 조직의 데이터 소스가 폭발적으로 증가 머신러닝 모델과 데이터 과학 연구, 데이터에 ..