가능도(Likelihood) vs 확률(Probability)

통계를 공부한다면 확률은 많이 들어보셨을 겁니다. 더욱 깊이 들어가 ML과 같은 여러 알고리즘을 접하면 자연스레 가능도에 대해서도 듣게 되죠. 확률과 가능도. 매우 비슷해 보이지만 해당 의미와 방법에 차이가 있습니다.

 

한번 확인해 봅시다.

 

📌 확률(Probability)

 

아주 친숙한 확률입니다. 통계나 수학을 공부하지 않아도, 일반 사람들이라면 확률에 대해 많이 이야기 합니다.

 

확률은 특정 사건이 발생할 가능성을 수치적으로 표현한 것으로 0과 1사이의 값을 가지게 됩니다.

여기서 0은 사건이 절대 발생하지 않음을 나타내고, 1은 사건이 반드시 발생함을 의미합니다.

또한, 확률은 일반적으로 사전에 알려진 정보 혹은 긴 기간의 관찰 결과에 기반하여 결정됩니다.

 

동전 던지기를 예로 들어봅시다.

앞면과 뒷면이 나올 확률은 각각 1/2(50%)입니다. 이는 두 면이 나올 가능성이 같다는 것을 의미하고, 여기서의 확률은 과거의 경험과 동전의 대칭성(사전 정보)에 기반한 결과입니다.

 

◼️ 연속 사건에서의 확률

 

자 동전 던지기의 경우 이분 사건입니다. 앞 혹은 뒤라는 두개의 조건을 가지고 있죠. 그렇다면 연속 사건의 경우는 어떨까요?

우리가 1~10 사이 숫자 중에서 6을 뽑을 확률을 계산한다고 해봅시다. 해당 확률은 1/10이 아닙니다.

1과 10의 연속적인 숫자 사이에는 무한한 수가 존재하며 여기서 6을 뽑을 확률은 0에 가깝습니다. 그렇다면 이 때 확률은 어떻게 계산할 수 있을까요??

 

이 때 사용하는 개념이 바로 확률밀도함수 입니다.

확률밀도함수에  대해선 아래 포스팅된 글을 읽으시면 좋을 것 같습니다.

확률밀도함수, 확률질량함수에 대해

 

짧게 설명한다면 확률밀도함수는 그래프에서 특정 구간의 넓이를 측정 구간에 속할 확률이 되게끔 만든 함수입니다.

쉽게 설명하면 6을 뽑을 확률이 아닌 1~10사이에서 5~7 사이의 값을 뽑을 확률을 계산하게 되는 것입니다. 아래 그래프에 칠해져 있는 부분을 해당 확률이라고 볼 수 있는 것입니다.

 

 

📌 가능도(likelihood)

 

그렇다면.. 특정 사건이 일어날 가능성을 비교하는 것은 불가능할까?? 이를 위해 사용가능한 것이 가능도라는 개념입니다.

사실 가능도를 처음 접하면 굉장히 헷갈립니다. 저도 그랬습니다...

 

좀 어렵게 설명해볼까요?

가능도는 주어진 데이터나 결과에 대해 특정 통계 모델 또는 매개변수가 얼마나 타당한지를 나타내는 수치입니다.

확률과 달리, 특정 조건이 주어졌을 때 그 조건을 만족시키는 모델의 매개변수가 얼마나 잘 맞는지를 설명합니다.

절대적인 확률값이 아닙니다.

 

주목할 점은 2번 째 줄의 내용입니다. 딱봐도 알고리즘에 많이 쓰이게 생겼죠?? 원하는 모델 혹은 알고리즘의 매개변수에 대해 가장 적합한 값을 찾기위해 많이 사용됩니다.

 

어렵게 설명한 것을 풀어서 작성해보면, 가능도는 특정 조건(사건)이 고정된 상태에서 확률 분포가 변화될 때(매개변수가 변화할 때) 적합도를 표현한다고 할 수 있습니다.

 

📌 확률 vs 가능도

 

직관적으로 예를 들어봅시다.

 

- 확률

1-10의 정수(무한이 아님)에서 5를 관측할 확률은 1/10이고, 6을 관측할 확률도 1/10입니다. 

 

- 가능도

특정 조건(사건)을 5를 관측하는 것으로 고정하였을 때 1-10의 정수가 아닌 1-50의 정수 범위로 바뀐다면?(확률 분포가 변화) 이 때 사건의 확률은 1/50이 되겠죠.

 

차이를 아시겠나요?

확률은 확률 분포가 고정되어 있고, 사건이 변화됩니다.

$$
P(사건 X \ | \ 확률 분포 PD)
$$

 

가능도는 사건이 고정되어 있고, 확률 분포가 변화됩니다.

$$
P(확률 분포 PD \ | \ 사건 X)
$$

 

그럼 좀 깊게 들어가봅시다. 앞서 매개변수라는 말을 사용하였습니다. 확률 분포에서 매개변수라 함은 평균과 분산이 될 수 있습니다.

 

먼저 확률입니다.

평균이 170, 표준 편차가 10인 정규분포를 고정하고 무게가 150~160인 성인을 관측할 사건의 확률은?

아래와 같은 빨간 부분이됩니다. 

 

 

가능도는?

무게가 155인 성인을 관측한 사건이 있다고 할때, 이 사건이 평균이 170, 표준 편차가 10인 정규 분포에서 나왔을 확률은? 아래 빨간점의 y값이 될 것입니다.

 

여기까지 오셨으면 이제 본론의 내용인 사건이 일어날 가능성을 비교할 수 있을까?에 대한 해답을 찾으셨을 겁니다.

 

일반적인 단일 사건에 대해 연속확률분포에서 확률은 0이됩니다. 무게가 155인 성인을 관측할 확률과 무게가 160인 성인을 관측할 확률이 모두 0에 가깝기 때문에 비교가 불가능하죠.

 

하지만 가능도의 개념에서 보면, 이들을 비교할 수 있습니다. 하지만 해석은 좀 달라질 수 있습니다.

단순히 무게가 160인 성인을 관측할 확률이 무게가 155인 성인을 관측할 확률보다 높다가 아니라

 

주어진 분포(평균 170, 표준편차 10인 정규분포)에서 무게가 160인 성인이 더 자주 나타날 가능성이 높다. 라고 해석을 해야합니다.

 

이해하셨다면 굉장히 흥미로울 것입니다. 바로 드는 생각이 그럼 특정 사건이 있을 때, 이 사건의 가능도가 가장 높을 때의 매개변수를 찾을 수 있지 않을까? 라는 아이디어 입니다. 

 

때문에 다음 포스팅은 자연스럽게 최대 가능도 추정이 되겠습니다.