binlog

ML) 과적합과 데이터 분리(hold out)

binlog — Mon, 17 Apr 2023 01:29:21 +0900

과적합: 모델이 학습 데이터에만 과도하게 최적화된 현상

-> 내가 가진 데이터에 너무 최적화되어 있어 일반적인 데이터에서 예측 성능이 과하게 떨어짐

지도학습: 학습 대상이 되는 데이터에 정답(label)을 붙여서 학습시키고, 모델을 얻어서 완전히 새로운 데이터에 모델을 사용해서 '답'을 얻고자 하는 것 (머신러닝의 일반적 절차)

iris의 품종을 분류하는 결정나무 모델이 어떻게 데이터를 분류했는지 확인

경계면은 올바른 것인지 / 내가 가진 데이터를 벗어나서 일반화할 수 있는지

-> 얻은 데이터는 유한, 내가 얻은 데이터 이용해서 일반화 추구하게 됨 -> 복잡한 경계면은 결국 모델의 성능 저하 유발

= 과적합의 문제

데이터 분리: 과적합 여부 판정

확보된 데이터 중에서 모델학습에 사용하지 않고 빼둔 데이터를 가지고 모델 테스트

8:2 확률로 특성(features)과 정답(labels)를 분리

ML) 머신러닝 개요

binlog — Wed, 12 Apr 2023 23:40:14 +0900

머신러닝: 명시적으로 프로그래밍 하지 않고도 컴퓨터에 학습할 수 있는 능력을 부여하는 학문 (아더 사뮤엘)

명시적인 프로그램에 의해서가 아니라, 주어진 데이터를 통해 규칙을 찾는 것

알고리즘: 현재 상황에서는 이것이 최선이라는 근거

(이런 방향, 저런 방향으로 진행하였을 때 각각의 차이점에 대한 정량적 수치 제시)

sepcies 0 은 명확히 구분 가능 -> 1, 2를 어떻게 구분할 것인가

Decision Tree의 분할기준(Split Criterion)

정보획득: 정보의 가치를 반환하는 데 발생하는 사건의 확률이 작을수록 정보의 가치는 커진다

정보이득: 어떤 속성을 선택함으로 인해 데이터를 더 잘 구분하게 되는 것

정보 엔트로피(클로드 섀넌): 무질서도(disorder), 불확실성(uncertainty) 의미

엔트로피는 열역학의 용어로 물질의 열적 상태를 나타내는 물리량의 단위 중 하나, 무질서의 정도를 나타냄 -> 확률 분포의 무질서도, 불확실성, 정보 부담 정도를 나타내는 정보 엔트로피 개념 고안

p: 해당 데이터가 해당 클래스에 속할 확률 / 어떤 확률 분포로 일어나는 사건을 표현하는 데 필요한 정보의 양

이 값이 커질수록 확률 분포의 불확실성이 커지며 결과에 대한 예측이 어려워짐

로그 계산 어려움 -> 좀 더 쉬운 방법 고안: 지니 계수 (낮을수록 엔트로피 ↓ -> 낮을수록 좋음)

Gini index(불순도율): 엔트로피의 계산량이 많아서 비슷한 개념이면서 보다 계산량이 적은 지니계수를 사용하는 경우 多

태블로 커리큘럼

binlog — Mon, 10 Apr 2023 00:59:08 +0900

Tableau for Business Intelligenc
1. 기본차트 만들기 - 테이블/막대/라인/파이/트리맵/누적막대
2. 분산형차트
3. 이중축 차트 만들기 - 콤비네이션/라인+영역/응용차트/도넛
4. 다양한 기능 활용 - 그룹/집합/결합된 집합/계층/드릴다운
5. 맵차트
6.워드 클라우드, 달력형 히트맵
7. 대시보드 응용: 동작 - 필터, 하이라이트, 시트이동, 매개변수 변경, 집합 값 변경, URL, 개체
8. 스토리

Tableau for Business Analytics
1. 퀵테이블 계산 - 누계/차이/구성비율/순위/비율차이/YoY성장률/백분위수/이동평균/YTD총계, 연평균성장률(CAGR)
2. 계산된 필드 - 연산자/논리함수/매개변수(범위형,목록형,날짜형,복합매개변수)
3. PRIMARY함수
4. 문자열함수 - Contain, Replace, Split, Upper
5. Date함수 - Datepart, Datetrunc, Datediff, 날짜함수 응용(MTD, QTD, YTD)
6. LOD 표현식 - INCLUDE, EXCLUDE, FIXED
7. 태블로 작동 순서

통계) 모집단과 표본분포

binlog — Wed, 5 Apr 2023 18:03:24 +0900

표본추출: 모집단으로 부터 표본을 추출 하는 것을 Sampling이라고 하며, 표본으로부터 그 특성을 찾아내고 모집단의 특성을 추론하고자 함

-복원추출: 모집단에서 데이터 추출할 때 하나를 추출하고 다시 넣고 추출하는 방법(동일한 표본이 추출될 수 있음

-비복원추출; 모집단에서 데이터 추출할 때 하나 추출하고 다시 넣지 않고 추출하는 방법

random sampling: 모집단에서 데이터 추출할 때 중요한 점은 편향되지 않아야 함, 각 개체가 모두 동일한 확률로 추출

불균형 데이터(imbalanced data)의 문제

예측모형을 만드는 목적은 관심이 있는 대상이 발생할 확률을 예측하는 경우가 대부분, 그런데 예측 대상이 전체 대비 아주 낮다면 모형의 성능은 괜찮을까? (ex.신용 평가 모형 개발, 제조 불량 예측 등)

1) sampling 기법을 통하여 해결

2) 모델을 통한 성능 개선(ex. cost-sensitive learning)

sampling 기법 (관심대상의 비율이 낮은 경우)

Over sampling

타겟 데이터 적은 class의 수를 많은 class의 비율만큼 증가 시킴(일정 비율로 복원추출 하는 개념)

과도적합의 문제 발생할 수 있음

Under sampling

타겟 데이터의 많은 class의 수를 적은 class의 비율만큼 감소시킴

임의로 뽑은 데이터가 biased(편향)될 수있고 모형의 성능이 떨어질 수 있음

표본분포: 통계량들이 이루는 분포

통계량: 표본에 기초하여 계산되는 수치 함수

표본평균

표본평균의 기대값

표본평균의 분산

중심극한정리: 동일한 확률분포를 가진 독립 확률 변수 n개의 평균의 분포는 n이 적당히 크다면 정규분포에 가까워진다는 정리

표본분포-카이제곱 분포: 표준정규분포의 합으로 이뤄진 분포

자유도(degree of freedom): 표본수 - 제약조건 수 or 표본수 - 추정해야 하는 수 (일반적으로 n-1 사용)

ex) 표본의 크기가 5, 표본평균이 3으로 정해졌다면, 숫자 4개는 자유롭게 정할 수 있으나 마지막 하나의 숫자는 나머지 네개의 숫자에 의해 결정 / 1, 2, 3, 4를 골랐다면 마지막 숫자는 자동으로 5가 되어야 평균이 5로 정해져 있음

-> 카이제곱분포는 자유도 v의 크기에 따라 모양이 달라짐 / 자유도가 커질수록 분포가좌우대칭형태

-> 카이제곱분포는 자유도가 커지면서 표준정규분포에 근사하며, v ≥ 30 이면, 확률은 근사적으로 정규분포로 구할 수 있음

표본분포-T 분포

표본분포-F 분포: 두 모집단의 분산 분석할 때 사용

통계) 연속형 확률 분포

binlog — Wed, 5 Apr 2023 01:38:01 +0900

확률밀도함수(PDF)

누적분포함수(CDF): 확률밀도함수를 적분하면 누적분포함수가 됨

누적분포함수의 성질

1. 0 ≤ F(x) ≤ 1

2. 만약 b ≥ a, F(b) ≥ F(a)

3. F(b) - F(a) = P [ a ≤ X ≤ b ]

균일분포(uniform distribution): 확률변수 X가 a와 b 사이에서 아래와 같은 확률 밀도 함수를 가짐

cdf)

정규 분포(normal distribution)
확률 밀도 함수는 확률 변수 X가 평균이 g 이고, 분산이 ù 인 정규분포를 따를 때 아래와 같음

파라메터의 따른 정규분포 모양 비교

정규분포의 성질

표준 정규 분포(standard normal distribution)
평균 μ이 0 이고 표준편차 σ가 1 로 규격화시킨 것 (Z ~ N(0,1))

이항분포의 정규 근사

X~B(n,p) 일 때, 확률 변수 X는 n이 충분히 크면 근사적으로 정규 분포 X ~ N(np, np(1-p))를 따름

엑셀 활용

1) NORM.DIST(1.96,0,1,1)

2) NORM.DIST(-1.96,0,1,1)

3) NORM.DIST(1.96,0,1,1) - NORM.DIST(0.5,0,1,1)

4) NORM.DIST(110,100,10,1) - NORM.DIST(100,100,10,1)

5-1) NORM.INV(0.05,30,5)
5-2) NORM.INV(0.9,30,5)

지수분포(exponential distribution)
단위 시간당 발생할 확률 λ인 어떤 사건의 횟수가 포아송 분포를 따른다면, 다음 사건이 일어날 때까지 대기 시간은 지수분포를 따름 (이벤트 A와 이벤트 B 사이에 걸린 시간)

ex) 버스정류장에서 100번 버스가 도착하는 횟수가 포아송 분포를 따른다면, 첫 번째 버스가 도착할 때까지 대기 시간의 분포는 지수분포

연속되는 사건 사이의 대기시간도 지수분포 / 즉 앞의예시에서 두번째 버스가 도착하고 세번째 버스가 도착할 때까지 대기시간의 분포도 지수분포

λ : 단위 시간당 이벤트가 발생하는 수

지수분포의 무기억성(Memoryless Property)

- 어떤 시점 부터 소요되는 시간은 과거 시간에 영향을 받지 않음

- 예시) 버스를 기다리는 대기시간은 먼저 기다린 사람과 확률이 같음

- 지수분포를 활용할 경우, 전구를 한달 동안 사용 했을 때 남은 수명은 한달 간 사용했던 영향을 받지 않음

- 즉 새전구와 한달 간 사용한 전구의 남은 수명은 같다고 생각함

=> 이런 문제로 실제적용에 문제가 있고, 생존 분석에서는 weibull분포 또는 log-normal 분포를 사용하여 예측

통계) 이산형 확률 분포

binlog — Wed, 29 Mar 2023 15:43:31 +0900

확률 분포(probability distribution): 확률 변수 X가 취할 수 있는 모든 값과 그 값을 나타날 확률을 표현한 함수

이산형 확률분포: 확률변수 X가 유한개이고, 모든 확률 변수에 대하여 균일한 확률을 갖는 분포

예시) 주사위 굴리기

베르누이 시행(Bernoulli trial): 각 시행의 결과가 성공, 실패 두가지 결과만 존재하는 시행

예시)

이항분포(Binomial distribution): 연속적인 베르누이 시행을 거처 나타나는 확률 분포임

- 서로 독립인 베르누이 시행을 n번 반복해서 실행 했을 때, 성공한 횟수 X의 확률 분포

예시)

포아송 분포(Poisson distribution): 어느 희귀한 사건이 어떤 일정한 시간대에 특정한 사건이 발생할 확률 분포

(ex. 야구장에서 파울볼을 잡을 횟수, 1년간 지구에 1미터 이상의 운석이 떨어지는 수 등)

- 포아송 분포의 조건

1. 어떤 단위구간(예, 1일)동안 이를 더 짧은 작은 단위의 구간(예: 1시간)로 나눌 수 있고 이러한 더 짧은 단위구간 중에 어떤 사건이 발생할 확률은 전체 척도 중에서 항상 일정

2. 두 개 이상의 사건이 동시에 발생할 확률은 0에 가까움

3. 어떤 단위구간의 사건의 발생은 다른 단위구간의 발생으로부터 독립적임

4. 특정 구간에서의 사건 발생확률은 그 구간의 크기에 비례함

5. 포아송분포 확률 변수의 기댓값과 분산은 모두 λ 임

예시)

- 이항 분포의 포아송 근사

확률 변수 X가 X ~ B(n,p)이고, n이 충분히 크고, p가 아주 작을 때, X의 분포는 평균이 λ = np인 포아송 분포로 근사 시킬 수 있음(보통 n이 클때, np<5를 만족하게 p가 작으면 근사 정도가 좋다고 함 X ~ Poisson(np))

기하분포(geometric distribution): 어떤 실험에서 처음 성공이 발생하기 까지 시도한 횟수 X의 분포, 이때 각 시도는 베르누이 시행을 따름

예시)

음이항분포(negative binomial distribution): 어떤 실험에서 성공확률이 p일 때, r번의 실패가 나올 때 까지 발생한 성공 횟수 X의 확률 분포

총정리

통계) 확률

binlog — Wed, 29 Mar 2023 14:42:19 +0900

확률: 모든 경우의 수에 대한 특정 사건이 발생하는 비율

확률의 고전적 정의

어떤 사건의 발생 확률은 그것이 일어날 수 있는 경우의 수 대 가능한 모든 경우의 수의 비이다. 단, 이는 어떠한 사건도 다른 사건들보다 더 많이 일어날 수 있다고 기대할 근거가 없을 때, 그러니까 모든 사건이 동일하게 일어날 수 있다고 할 때에 성립한다. (확률의 최초의 정의는 수학자 라플라스의 논문 Théorie analytique des probabilités)

표본공간: 어떤 실험에서 나올 수 있는 모든 가능한 결과들의 집합

통계적 확률 정의

어떤 시행을 N번 반복했을 때, 사건 A에 해당하는 결과가 r번 일어난 경우 r/N 이고, 사건 A가 일어날 상대도수라고 함.

N이 무한히 커지면 상대도수는 일정한 수로 수렴하는데, 이 극한값을 사건 A의 통계적 확률 또는 경험적 확률이라고 함.

확률의 성질 (합사건/곱사건/배반사건/여사건)

1) 확률의 덧셈법칙: P(A ∪ B) = P(A) + P(B) − P(A ∩ B)

2) A와 B가 배반 사건이면, P(A ∩ B) = P(∮ ) = 0

3) A의 여사건이 AC 이면, P(A) + P(AC) = 1

순열과 조합

팩토리얼: ! (Factorial): n개를 일렬로 늘여 놓은 경우의 수를 n!로 표현

순열: 순서를 고려하여 n개 중 r개를 뽑아서 배열하는 경우의 수

조합: 순서를 고려하지 않고 N개 중 R개를 뽑아서 배열하는 경우의 수

a) 1등확률: (45*44*43*42*41*40)/(6*5*4*3*2*1) = 1/8,145,060

b) 2등확률: 1등확률 * 6 = 6/8,145,060

조건부 확률: 어떤 사건 A가 발생한 상황에서(주어졌을 때) 또 하나의 사건 B가 발생할 확률

확률의 곱셈법칙

베이즈 정리(Bayes’ Theorem)

확률변수: 표본공간에서 각 사건에 실수를 대응시키는 함수
확률적인 상황에 따라 결과값이 바뀌는 변수
일반적으로 확률 변수는 대문자로 표현하며, 확률변수의 특정값을 소문자로 표현

확률 변수 예시

반도체 1000개의 wafer중 불량품의 수 X / 공장에서 생산하는 전구의 수명 T / 주사위를 던질 때 나오는 눈의 수 V

기대값: 확률 변수의 평균

a, b가 상수이고, X, Y를 임의의 확률 변수라고 할 때 다음이 성립

(a) E(a) = a

(b) E(aX) = aE(X)

(d) E(aX±bY) = aE(X) ± bE(Y)

(e) X,Y가 독립일 때 E(XY) = E(X)E(Y)

확률변수의 분산

a, b가 상수이고, X, Y를 임의의 확률 변수라고 할 때 다음이 성립

(a) Var(a) = 0 (=상수의 분산은 0)

(b)Var(aX) = a^2Var(X)

(d) Var(aX±bY) = a^2Var(X) ± b^2 Var(Y) + 2Cov(X,Y)

(e) X, Y가 독립 일때 Var(XY) = 0

(f) Var(X) = E(X^2) − [E(X)]^2

공분산: 2개의 확률변수의 선형 관계를 나타내는 값

하나의 값이 상승할 때 다른 값도 상승한다면, 양의 공분산을 가지고 반대로 하나의 값이 상승할 때 하락한다면 음의 공분산을 가짐

통계) 데이터의 이해

binlog — Wed, 29 Mar 2023 13:52:37 +0900

1. 데이터와 그래프

변수: 통계학에서 조사 목적에 따라 관측된 자료값 / 해당 변수에 대해 관측된 값이 자료(Data)

EDA(Exploratory Data Analysis): 도표, 그래프, 요약 통계 등을 사용하여 데이터를 체계적으로 분석하는 방법

- 데이터 분석 프로젝트 초기에 가설 수립/ 적절 모델 및 기법 선정하기 위해 사용

- 변수간 트렌드, 패턴, 관계 등을 찾고 통계적 추론을 기반으로 가정을 평가

- 분석 데이터에 적절한가 평가, 추가 수집, 이상치 발견 등에 활용

시간 시각화: 막대그래프, 누적 막대그래프, 점그래프

분포 시각화: 파이차트, 도넛아트, 트리맥, 누적 연속 그래프

관계 시각화: 스캐터플롯, 버블차트, 히스토그램

비교 시각화: 히트맵, 스타차트, 평행좌표계, 다차원척도법

공간시각화: 지도맵핑

2. 데이터의 기초통계량

통계량: 표본으로 산출한 값 - 이를 통해 데이터(표본)가 갖는 특성 이해할 수 있음

중심 경향치: 표본(데이터)를 이해하기 위한 표본의 중심 = 대표값 (평균 / 중앙값 / 최빈값 / 절사평균 등)

평균:

산포도: 데이터가 어떻게 흩어져 있는지를 확인하기 위해서는 중심경향치와 함께 산포에 대한 측도를 같이 고려해야 함

범위: 데이터의 최대값과 최소값의 차이

사분위수: 전체 데이터를 오름차순으로 정렬하여 4등분 하였을 때 첫번째를 1사분위수 / 두번째를 2사분위수 / 세번째를 3사분위수라고 함.

- 사분위수 범위(interquartile range,IQR) = 제3사분위수 - 제1사분위수

백분위수: 전체 데이터를 오름차순으로 정렬하여 주어진 비율에 의해 등분한 값 / 제 p백분위수는 p%에 위치한 자료값을 말함

- 데이터를 오름차순으로 배열하고 자료가 n개 있을 때, 제(100*p) 백분위수는 다음과 같음

1) np가 정수이면, np번째와 np+1 번째 자료의 평균

2) np가 정수가 아니면, np보다 큰 최소 정수를 m이라고 할 때 m

분산: 데이터의 분포가 얼마나 흩어져 있는지를 알 수 있는 측도

표준편차: 분산의 제곱근

변동계수(Coefficient of Variation: CV): 표준편차를 평균으로 나누어 산출하여 단위나 조건에 상관 없이 서로 다른 그룹의 산포를 비교(평균이 다른 두개 이상의 그룹의 표준편차를 비교할 때 사용)

분산이 크면 분포가 넓어지고 분산이 작으면 분포가 좁아짐

왜도(skew): 자료의 분포가 얼마나 비대칭적인지 표현하는 지표

왜도가 0이면 좌우가 대칭이고, 0에서 클수록 우측꼬리가 길고 0에서 작을수록 좌측 꼬리가 김

첨도(kurtosis): 확률분포의 꼬리가 두꺼운 정도를 나타내는 척도

도값(K)이 3에 가까우면 산포도가 정규분포에 가까움 / 3보다 작을 경우에는(K<3) 산포는 정규분포보다 납작한 분포 / 3보다 클 경우(K>3) 정규분포보다 꼬리가 두꺼운 분포로 판단

Git) Tag

binlog — Tue, 28 Mar 2023 22:27:51 +0900

특정 버전 (Commit)에 Tag 를 달아놓을 필요가 있을 때 사용 (예 - 버전 릴리즈)

현재 버전에 태그 달기

git tag <tagname>

특정 버전에 태그 달기

git tag <tagname> <commithash>

Tag 를 Remote Repository 에 Push

git push origin <tagname>

Git Tag 목록 보기

git tag

Git Tag 상세 정보

git show <tagname>

Git Tag 삭제

git tag --delete <tagname>

Remote에서 Git Tag 삭제

git push --delete origin <tagname>

Git) Merge / Conflict

binlog — Tue, 28 Mar 2023 22:04:28 +0900

Merge: 현재 위치한 Branch에 다른 Branch 병합

git merge <branchname>

merge는 주종관계가 있기 때문에 어디에 무엇을 붙일 것인지 주의

Conflict : Branch를 merge하는 과정/push&pull 하는 과정에서 충돌 발생

1. Main Branch 에서 파일 수정 (다시 reset)

2. Conflict Test 를 위한 Branch 생성 (Hello, noma 카피) 후 이동은x

3. Main Branch 에서 파일 수정 (Hello, zero) 후 commit

4. Dev2 Branch 에서 파일 수정 (Hello, base) 후 commit

-> main에서 dev2 merge할 경우, 양쪽이 같은 파일의 같은 부분을 수정했기 때문에 conflict발생

Mergetool : Conflict 발생 이후 MergeTool 을 실행하면 Conflict 난 파일들이 차례로 열림

둘 중 맞는 코드를 선택하여 수정하고 저장하면 됨(Diff 표시 부분도 삭제!)

conflict 해제 : git add + git commit