ML) 머신러닝 개요

🔔 머신러닝: 명시적으로 프로그래밍 하지 않고도 컴퓨터에 학습할 수 있는 능력을 부여하는 학문 (아더 사뮤엘)

명시적인 프로그램에 의해서가 아니라, 주어진 데이터를 통해 규칙을 찾는 것 

 

🔔 알고리즘: 현재 상황에서는 이것이 최선이라는 근거

(이런 방향, 저런 방향으로 진행하였을 때 각각의 차이점에 대한 정량적 수치 제시)

 

sepcies 0 은 명확히 구분 가능 -> 1, 2를 어떻게 구분할 것인가

 

Decision Tree의 분할기준(Split Criterion)

정보획득: 정보의 가치를 반환하는 데 발생하는 사건의 확률이 작을수록 정보의 가치는 커진다

정보이득: 어떤 속성을 선택함으로 인해 데이터를 더 잘 구분하게 되는 것

정보 엔트로피(클로드 섀넌): 무질서도(disorder), 불확실성(uncertainty) 의미

엔트로피는 열역학의 용어로 물질의 열적 상태를 나타내는 물리량의 단위 중 하나, 무질서의 정도를 나타냄 -> 확률 분포의 무질서도, 불확실성, 정보 부담 정도를 나타내는 정보 엔트로피 개념 고안

p: 해당 데이터가 해당 클래스에 속할 확률 / 어떤 확률 분포로 일어나는 사건을 표현하는 데 필요한 정보의 양

이 값이 커질수록 확률 분포의 불확실성이 커지며 결과에 대한 예측이 어려워짐

로그 계산 어려움 -> 좀 더 쉬운 방법 고안: 지니 계수 (낮을수록 엔트로피 ↓ -> 낮을수록 좋음)

Gini index(불순도율): 엔트로피의 계산량이 많아서 비슷한 개념이면서 보다 계산량이 적은 지니계수를 사용하는 경우 多