일단 시작하는 블로그

내가 보려고 만드는 블로그

머신러닝/통계학

연속형 확률분포 연속 확률 변수의 분포, 연속적인 값들의 분포 이기 때문에 이산형 처럼 하나로 집어 말할 수 없고 범위로 이야기 한다 (체중, 키 같은..) 확률 밀도 함수 연속형 확률 분포 그래프에서 특정 범위의 확률을 계산하기 위한 함수 연속형 확률 변수 X가 a≤X≤b 인 값을 가질 확률을 a~b 구간의 면적으로 계산, 이때 적분을 사용해서 구한다 $$ P(a \leqq X \leqq b) = \int_{a}^{b} f(x)dx $$ 확률은 0~1 범위를 갖기 때문에 전체 면적은 1 이다 큰 수의 법칙 사건을 무한히 반복할 때 일정한 사건이 일어나는 비율은 횟수를 거듭할수록 일정한 값에 가까워지는 법칙 예시) 동전을 100번 던져서 앞면이 60번 나왔다면 앞면이 나올 확률은 0.6이지만 동전을 무한..

2022. 8. 3.

머신러닝/통계학

확률 사건이 일어나기 쉬운정도를 실제 수치로 나타낸 지표 Probability의 앞글자를 따서 P()로 표기 P(A) : 사건 A에 대한 확률 (A 원소 개수 / 총 원소 개수) 표본공간이 사건들로 이루어졌을때, 각각의 확률은 0과 1사이에 있어야하고 각각의 사건이 상호배반(독립)일 때, 이들 확률을 전부 더하면 1이 되어야한다. => 확률의 공리 $$ \begin{align} &0 \leq P(E_i) \leq for \ all \ i \\ &P(E_1) + P(E_2) + \cdots + P(E_n) = 1 \\ &P(A)=1-P(A^c) \end{align} $$ 상대적 비율 접근 동전을 던졌을 때 앞면이 나올 확률 50%, 무수히 많이 던졌을때 50%로 수렴 빈도론자 Frequentist 주관적 ..

2022. 8. 3.

책 & 스터디

7. 파이프라인 오케스트레이션 오케스트레이션은 파이프라인의 단계가 올바른 순서로 실행되고 단계 간의 종속성이 적절하게 관리되게 한다. 방향성 비순환 그래프 DAG(Directed Acyclic Graph) 연결 방향이 존재하고 순회하지 않는 그래프. 한 작업이 완료된 이후에 다음 작업이 실행되며, 이전 작업으로 돌아가지 않는다. 아파치 에어플로우 상호 종속성이 있는 여러 작업을 포함하는 워크플로(특히 데이터파이프라인)를 모니터링. 파이썬으로 빌드되었지만 모든 언어 / 플랫폼에서 실행되는 작업을 실행 가능. 데이터베이스를 사용하여 DAG의 실행 기록, 에어플로우 구성과 관련된 메타데이터를 저장. 기본적으로 SQLite를 사용하지만, 대규모 요구사항의 경우 MySQL 또는 Postgres를 사용하는 것이 좋..

2022. 8. 3.

머신러닝/통계학

자료분석 양적자료를 분석할 때는 자료를 시각적으로 표현해서 자료에 존재하는 전반적인 경향을 살펴보며, 통계적 모형에 적합(fitting)시킨다. 도수분포표 : 자료의 분표를 몇 개의 구간으로 나누고, 나누어진 각 구간에 속하는 자료가 몇 개인지 정리한 표 히스토그램 : 도수분포표를 그래프로 만든 것 기술통계량 최빈값 mode : 가장 빈번하게 나타나는 데이터. 두개 이상인 경우가 많음(이봉분포, 다봉분포) 중앙값 median : 크기 순으로 정렬했을 때 가운데에 오는 수. 짝수 일경우 중간의 두 숫자의 평균값이 중앙값. 극단적인 점수들에 비교적 영향을 덜받는다. 평균 mean : 모든 데이터 값을 더한 후 점수들의 개수로 나눔. 극단적 수치에 영향을 받기 쉽다. 모든 수치를 사용하기 때문에 서로 다른 ..

2022. 8. 2.

책 & 스터디

1. 데이터 파이프라인 소개 데이터 파이프라인이란? 다양한 소스에서 새로운 가치를 얻을 수 있는 대상으로 데이터를 옮기고 변환하는 일련의 과정이다. 분석, 리포팅, 머신러닝 능력의 기초가 된다. 데이터 파이프라인은 일반적으로 데이터 추출, 데이터 가공, 데이터 유효성 검사를 포함한 여러 단계로 구성되며, 때로는 데이터를 최종 목적지로 전달하기 전에 머신러닝 모델을 학습하거나 실행하는 단계가 있기도 하다. 한마디로 언제든지 필요한 데이터를 가져와 꺼내 쓸 수 있도록 데이터를 쌓아두는 파이프를 만드는 것이라고 보면된다. 데이터 엔지니어의 역할 클라우드 컴퓨팅과 Saas(Software as a service) 가 대중화되면서 조직의 데이터 소스가 폭발적으로 증가 머신러닝 모델과 데이터 과학 연구, 데이터에 ..

2022. 8. 2.

머신러닝/통계학

통계학이란? 어떤 현상을 관측하고 가설을 세우고 자료를 수집하고 분석하고 가설을 검증하는 것 기술통계 : 데이터의 중요 특성을 정량적으로 설명하는 분야 (count, mean, standard dev 등), 시각화 가능 현재 데이터 집합을 보여주는 것 추론통계 : 전체 모집단에 대한 추론을 하기 위해 모집단으로 부터 추출한 샘플을 확률이론을 사용하여 추론 (카이제곱, t검정 등) 모집단과 표본 모집단 population : 정보를 얻고자하는 관심 대상의 전체 집합 모수 parameter : 모집단을 조사하여 얻을 수 있는 통계적인 특성치를 규정짓는 척도(모 평균, 모 분산, 모 비율 등) 표본 sample : 모집단에서 추출한 개체의 집합, 모집단의 전체 데이터를 얻을 수 없으므로 모집단의 특성을 나타내..

2022. 8. 2.

머신러닝/딥러닝

Sentence-BERT는 문장 쌍 분류, 두 문장의 유사도 계산 등에 사용되는 모델이다. 문장 표현 계산 사전학습된 Bert에서 문장표현을 가져와서 사용한다. 여기서 문제점은 파인튜닝없이 Bert를 사용하는 경우 [CLS] 토큰의 문장표현이 정확하지 않다는 것이다. 그래서 문장표현으로 [CLS] 대신 모든 토큰에 풀링(Pooling)을 적용해 계산한다. 평균 풀링 : 모든 토큰에 평균 풀링을 적용하면 문장 표현은 모든 단어의 의미를 갖는다. 최대 풀링 : 모든 토큰에 최대 풀링을 적용하면 문장 표현은 중요한 단어의 의미를 갖는다. 샴 네트워크 Sentence-BERT BERT를 파인튜닝해 문장 쌍 태스크에 사용하기 위해 샴네트워크 아키텍처를 사용한다. 샴 네트워크란 동일한 가중치를 공유하는 2개의 동일..

2022. 7. 7.

머신러닝/딥러닝

텍스트 요약 태스크에 맞춰 파인튜닝된 Bert 모델을 BERTSUM이라고 한다. 긴 문서를 몇개의 핵심문장으로 요약, 뉴스기사 요약, 논문 요약 등 다양한 영역에서 널리 사용된다. 요약에는 크게 추출요약(Extractive)과 생성요약(Abstractive) 두가지 방식이 존재한다. 추출 요약 Extractive Summarization : 텍스트에서 중요한 문장만 추출해 요약한다. 문장을 그대로 추출하는 것이기 때문에 문서에 따라 성능이 아쉽다고 느껴질 수도 있다. 생성 요약 Abstractive Summarization : 텍스트를 의역(Paraphrasing)해 요약을 만든다. 여기서 의역이란 텍스트의 의미를 좀 더 명확하게 나타내기 위해 다른 단어를 사용해 주어진 텍스트를 새롭게 표현하는 것을 말..

2022. 7. 7.

머신러닝/딥러닝

Bert란 bert란 구글에서 발표한 임베딩 모델로 문맥을 고려한 임베딩을 제공하기 때문에 여러 nlp task에서 좋은 성능을 보여줬다. 워드투벡과 같은 단어 임베딩 모델에서는 문맥이 달라도 동음이의어를 구분하지 못하고 동일한 임베딩을 제공하는 반면, 버트는 문장의 문맥을 이햐 한 다음 문맥에 따라 단어 임베딩을 생성한다. Bert의 동작 Bert는 트랜스포머 모델의 인코더만 사용한다. Bert의 Bidirectional은 양방향 이란 뜻으로, 디코더는 문장을 순차적으로 생성해야 해서 단방향으로만 읽게되지만 인코더는 원래 양방향으로 문장을 읽을 수 있기 때문에 붙은 이름이다. 인코더에 문장을 입력하면 멀티 헤드 어텐션 메커니즘을 사용해 문장의 각 단어의 문맥을 이해해 문장에 있는 각 단어의 문맥 표현을..

2022. 7. 7.