일단 시작하는 블로그

내가 보려고 만드는 블로그

머신러닝/통계학

회귀의 소개 상관 분석에서 두 변수 사이의 관계가 양인지, 음인지 확인을 했다면, 회귀 분석에서는 두 변수 사이의 관계가 음일 경우, 얼마나 음으로 만드는지 예측할 수 있음 회귀 분석 : 하나 이상의 독립변수(IV : Independent variable)들로부터 종속변수(DV : Dependent variable)의 값들을 예측하는 것 단순회귀(simple regression) : 한 예측변수로부터 한 결과변수를 예측하는 것 다중회귀(multiple regression) : 여러 개의 예측변수들로부터 한 결과변수를 예측하는 것 위처럼 자료에 적합시키는 모형이 있을 때, 회귀분석에서는 그 모형은 선형(linear) 모형임 결과i = (모형) + 오차i 1. 직선에 관한 중요한 정보 몇 가지 어떤 직선이라..

2023. 6. 1.

데이터 엔지니어링

배경 및 작업 회사의 서비스가 고도화되고 기능들이 많아지면서 각 부서에서 보고 싶어하는 데이터도 엄청나게 늘어나는 중이다. 특히 그 중에서 에어플로우를 통해 주기적으로 로그성 데이터나 누적 데이터를 구해 적재하는 작업을 많이 하고 있다. 이번 작업은 학습완료율을 통해 선생님들이 관리하는 학생들의 완료율이 어떤지 총 계산한 값의 로그를 남기는 작업이다. 하루단위로 그날 학습이 어땠는지 학습완료율에 대해 평가를 하고 싶은데 현재는 나중에라도 문제를 풀거나 문제 구성을 수정하게 되면 그때마다 학습완료율이 업데이트가 일어나서 하루단위 확인이 불가능하다. 이런점에 대해 요청사항이 있어서 매일 새벽 학습완료율이 계산되어 DB에 들어가면 에어플로우를 통해 바로 그 전날의 완료율 값을 agrregation 해서 로그 ..

2023. 5. 10.

머신러닝/통계학

두 변수 사이 관계는 다음과 같이 세 종류가 존재함 양의 상관 무상관 음의 상관 공분산과 상관계수라는 두 변수의 관계를 표현하는 방법을 배운다 관계를 측정하는 방법 공분산(covariance) 공분산의 개념을 이해하기 위해서는 우선 분산의 개념을 다시 이해할 필요가 있음 분산공식 x̄는 표본의 평균, xi는 주어진 자료점, n은 관측값들의 개수 분산은 한 변수 내에서의 변화 정도를 확인할 수 있음 두 변수의 관계를 파악하기 위해서는 한 변수가 분산에서 벗어나는 방식과 다른 변수가 분산에서 벗어나는 방식이 비슷한지 확인해야 됨 각 변수가 평균으로부터 벗어난 정도인 편차들 사이의 유사성을 구체적으로 나타내면 우리는 두 변수 사이의 관계를 파악할 수 있음 고차곱 편차(cross-product deviation..

2023. 5. 2.

머신러닝/통계학

5장부터 그래프가 나와서 코랩에 코드와 함께 정리했다. 여기에 쓰인 예제데이터는 하단의 링크에서 받을 수 있다. https://studysites.uk.sagepub.com/dsur/main.htm SAGE - Student and Instructor Site for Leadership, Fifth Edition About the Book Welcome to the Companion Website for Field, Miles & Field: Discovering Statistics Using R Hot on the heels of the award-winning and best selling Discovering Statistics Using SPSS 3rd Edition, Andy Field has ..

2023. 5. 2.

머신러닝/통계학

이번 장에서 배우는 내용 주어진 이론이 참인지 확인할 때에는 관측자료를 정확하게 반영하는 모형을 적합시키는 것이 중요 측도(measure): 변수를 측정한 값(정보)의 특성 예) 평균, 최빈값, 중앙값 등 척도(scale): 변수의 특성 및 이를 측정하는 기준 예) 명목, 서열, 등간, 비율 통계적 모형의 구축 설명하고자 하는 현상이 어떤 것이든, 그 현상에 관한 가설을 만들고 자료를 수집해서 그 가설을 검증하는 과정이 필요함 → 이러한 과정에는 통계적 모형을 구축하는 활동이 포함됨 현실 세계에 우리가 만든 가설이 어떻게 작동하는지 예측하기 위해 자료를 수집하고 그 자료를 이용해서 통계적 모형을 구축함 → 이 통계적 모형이 실제 세계를 어느 정도나 대표하는지 나타날 때 모형의 적합(fit)이라는 개념을 ..

2023. 5. 2.

머신러닝/통계학

이번에 데이터팀에서 새롭게 스터디를 하기로 했다. 책은 앤디필드의 통계학으로 원래 R로 구현되지만 우리는 파이썬을 사용하기 때문에 파이썬을 사용해서 코드를 짜면서 스터디를 진행 할 예정이다. (1, 2장은 코드가 없어서 정리만 있고 3, 4장은 환경세팅이어서 패스) 연구 과정 초기관측(자료) > 이론생성 > 가설 생성(변수 식별) > 이론검증을 위한 자료수집(변수 측정) > 자료분석(자료 그래프 작성, 모형 적합) 자료수집 - 무엇을? 변수의 분류 독립 변수 : 어떤 효과의 원인이 있다고 간주되는 변수, 실험적 연구에서 실험자가 조작하는 변수 종속 변수 : 독립변수의 변화에 영향을 받는다고 간주되는 변수, 하나의 결과 측정 수준 범주형 변수 : 범주들로 구성된 변수 이분변수 : 남/여 같이 두개로 분류 ..

2023. 5. 2.

데이터 엔지니어링

회사에서 교육용으로 컨텐츠를 등록하고 나서 특정 문장이나 숫자들이 포함된 컨텐츠가 어디있는지 찾길 원하는 요구사항이 들어왔다. 단순히 제목 검색이 아니라 안에 담긴 내용을 검색해야해서 결과를 빠르게 찾기가 쉽지 않았다. 만약 DB에서 "When I started" 라는 문장이 포함된 컨텐츠를 찾으려 한다면 like %When I started% 로 검색을 해야하는데 이 같은 like 쿼리는 결과 조회가 매우 느리다. 이에 엘라스틱 서치하는 검색엔진을 이용해 빠른 조회를 할 수 있게 만들었다. Elastic Search Elasticsearch는 검색 및 분석을 위한 오픈소스 분산 검색 엔진이다. 분산 아키텍처를 기반으로 하며, RESTful API를 통해 데이터를 인덱싱하고 검색할 수 있다. 기존 데이터..

2023. 4. 12.

데이터 엔지니어링

지난 빅쿼리 파이프라인 구축기에 이은 작업인 통계 데이터 및 api 개발 회고. 들어가며 지난 회고에서 빅쿼리로 유저정보에 대한 데이터 ETL 파이프라인을 만들었었다. 이제 적재되는 데이터를 가지고 2차 가공을 해서 실제 회사내부 사람들에게 보여질 통계 데이터를 만들 차례이다. 이번엔 먼저 데이터베이스를 만들에 계산된 통계 데이터를 넣고, 그 테이블들을 조회해 백엔드와 프론트엔드를 통해 유저들에게 보여질 api를 만드는 작업까지 하게 되었다. 이번 작업은 어느정도 제 시간에 맞춰 끝낼 수 있을줄 알았는데 지난 번과는 또다른 시행착오들을 겪으며 또 스케줄이 늘어지게 되었다. 그래도 작년보단 비슷한 작업에서 훨씬 덜 헤맬 수 있어서 어느정도 발전했구나 느낄 수 있었다. 이번에도 기록을 남겨 어떤 작업을 했었..

2023. 3. 3.

데이터 엔지니어링

resources 설정 m1의경우 cpu 4이상, 메모리 4GB 이상, swap 2GB 이상 설정 workspace 설정 mkdir airflow cd airflow mkdir -p ./dags ./logs ./plugins 통합 디렉토리 만들고 안에 들어가서 필요한 하위 디렉토리들 생성 yaml 파일 다운 및 실행 curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.3.2/docker-compose.yaml’ m1 맥일 경우 2.3 이상 버전이어야 adm64 에러가 나지 않는다. (처음엔 2.1 로 설치 했더니 무한 에러 굴레에 빠짐..) docker-compose up airflow-init 위 명령어로 DB 초기화를 해준다. docker-com..

2023. 2. 6.