베이즈 정리

베이즈 정리(Bayes' Theorem)

사건 A가 발생한 후 사건 B가 발생할 확률을 구하는 데 사용

새로운 증거를 바탕으로 기존의 믿음을 업데이트하는 방법을 제공

토마스 베이즈(Thomas Bayes)가 제안한 것으로, 통계학, 머신러닝, 데이터 분석 등 다양한 분야에서 널리 사용

 

베이즈 정리 공식

 

• P(A∣B): B가 주어졌을 때 A의 조건부 확률 (사후 확률, Posterior Probability)
• P(B∣A): A가 주어졌을 때 B의 조건부 확률 (우도, Likelihood)
• P(A): A의 사전 확률 (Prior Probability)
• P(B): B의 사전 확률 (Normalization Factor)

문제

병원에서 특정 질병을 진단하는 테스트가 있다고 가정합니다. 이 테스트는 질병이 있는 사람에게는 99%의 확률로 양성 결과를, 질병이 없는 사람에게는 5%의 확률로 양성 결과를 나타냅니다. 인구의 1%가 이 질병을 가지고 있다고 합니다.

 

목표 : 테스트 결과가 양성(positive)일 때, 실제로 질병이 있을 확률을 계산합니다.

결과 : 테스트가 양성일 때 실제로 질병이 있을 확률은 약 16.67%입니다.

 

 

확률 모델(Probabilistic Models)

일반적인 분류 모델 P(y|x)은 다음과 같은 공식으로 예측결과 ý를 계산한다.

 

 

황금 법칙(Golden Rule)

텍스트 x가 주어졌을 때, 이 텍스트는 어떤 클래스(y)로 분류될까?

따라서 분모에 해당하는 P(x)를 고려하지 않아도 된다.

 

최대 우도 추정(Maximum Likelihood Estimation)

가능도(kikekihood)가 가장 높은 클래스를 선택하는 방법

X는 특징(feature) 혹은 데이터

 

최대 우도 추정시 주의점

사후 확률을 직접적으로 계산하기 어렵기 때문에 가능도를 이용하지만, 가능도만으로 사후 확률을 완전히 근사할 수 없다.