확률 개요

1. 확률(Probability)이란

특정한 사건이 일어날 가능성을 수로 표현한 것

확률은 0(0%)~1(100%) 사이의 실수로 표현

 

- 확률이 사용되는 예시

연락온 전화가 1000통 중 600가 광고 홍보 전화, 400개는 일반적인 전화

새로운 전화가 오는 경우 광고 홍보 전화 확률은? 60%

 

- 기계 학습 모델의 확률적으로 이해

N개의 학습 데이터로 기계학습 모델을 학습

일반적으로 기계학습 모델의 출력은 %확률

 

 

2. 경우의 수

경우의 수를 계산하는 방법은 순열과 조합이 존재

 

- 순열(Permutation)

서로 다른 n개에서 r개를 중복 없이 뽑아 특정한 순서로 나열하는 것을 의미

모든 순열의 수(경우의 수)는 다음의 공식으로 계산

순열의 수 공식(N = r일때)
nPr = n!

순열의 수 공식(N != r일때)
nPr = n! / (n-r)!

- 순열의 예시

기계 학습 모델 학습을 위해 N개의 학습 데이터로 학습 진행

매번(epoch) 모델에 학습 데이터를 넣을 순서를 혼합하여(shuffling) 학습 진행

epoch : 학습 데이터 세트에 포함된 모든 데이터가 한번 씩 모델을 통과한 횟수

 

 

- 조합 (Combination)

서로 다른 N개에서 r개를 중복 없이 순서를 고려하지 않고 뽑는 것을 의미

모든 조합의 수(경우의 수)는 다음의 공식으로 계산

조합의 수 공식
nCr = n! / r!( n-r)! = nCn-r

- 조합 예시 샴(Siamese) 네트워크

딥러닝 아키텍처 중 샴 네트워크(siamese network)

두개의 이미지를 받아서, 두 이미지가 유사하면 1, 다르면 0

N개의 이미지로 구성된 데이터 세트가 있을 때, 매번 2개의 이미지를 뽑아서 2개의 이미지를 네트워크에 입력하는 경우,

두 이미지의 순서는 의미가 없다.

ex) [1,2]  = [2,1]

 

 

- 중복순열(Permutation with Repetiton)

서로 다른 N개에서 중복을 포함해서 r개를 뽑아 특정한 순서로 나열

모든 중복 순열의 수(경우의 수)는 다음의 공식으로 계산

중복 순열의 수 공식
nΠr=n^r

- 중복 순열 예시

숫자 1,2,3,4 을 이용해 만들 수 있는 두자리 자연수의 개수는?

4^3 = 64

 

 

- 중복조합(Combination with Repetition)

서로 다른 N개에서 중복을 포함해 순서를 고려하지 않고 r를 뽑는 것

모든 중복 조합의 수(경우의 수)는 다음의 공식으로 계산

중복 순열의 수 공식
nHr = n+r-1Cr

- 중복 조합 예시

딥러닝에서 학습된 여러 모델의 결과를 활용하여 최종적인 결과를 생성하는 양상블(ensemble) 방식

서로 다른 딥러닝 아키텍처 3개가 존재

중복을 허용하여 4개를 골라서 딥러닝 모델 4개를 학습

이때 가능한 학습의 모든 조합의 수는? 15

 

 

3. 확률(Probability)

S를 전체사건(event)의 집합(표본 공간 = sample space)일때

사건 X가 일어날 확률 P(X)는

P(X) = 사건X가 일어나는 경우의 수 / 전체 경우의 수 = n(X)/n(S)