Prior Probability, Posteriori Probability,Likelihood

제어시스템 및 필터를 공부하다 보면 마주하게 되는 Prior Probability, Posteriori Probability,Likelihood 이 세가지 용어에 대해 정리해보자.

사전 확률 ( Prior Probability )
: 현재 가지고 있는 정보를 기초로하여 정한 초기 확률, 확률 시행 전에 이미 가지고 있는 지식을 통해 부여한 확률
ex) 동전을 던져 앞면이 나올 확률 : 1/2

즉, 동전을 던지기 전에, 내가 앞면이 나올 확률에 대해서 기존에 수행한 실험들을 통해서 알고 있는 확률 정도로 생각하면 된다. 

사후 확률 ( Posteriori Probability)

: 사건 발생 후에 어떤 원인으로부터 일어난 것이라고 생각되어지는 확률
추가된 정보로부터 사전정보를 새롭게 수정한 확률 ( 수정 확률 )
조건부 확률을 통해 사후확률을 표현할 수 있음
사후확률은 베이즈 정리로 부터 구할 수 있다.

쉽게 말해서 우리가 어떤 사건에 대해서 내가 어떤 랜덤 변수 x를 계속 측정하면서 이걸 통해서 특정사건 y가 일어날 확률을 찾아간다고 할 때, 내가 측정한 변수 x가 a라는 값을 가질 때, 특정사건 y가 일어날 확률을 찾는 것이다. 즉 순간순간의 시도를 통해서 y라는 사건이 일어날 확률을 높이는 방향으로 찾아가는 것이다. 

사후 확률의 계산 = > 베이즈 정리

사후확률 P(A|B)을 사전확률 P(A),P(B) 및 조건부확률 P(B|A)로 표현할 수 있음

- 여기서 P(Ai|Bj)는 사후확률  
: B는 관측, A는 원인, 즉, 관측 B를 보고 원인이 A라고 생각되는 확률

- P(Ai)는 원인/소스별 사전확률

- P(Bj|Ai)는 Likelihood(조건부 확률)
: 각각의 원인 Ai로부터 결과 Bj가 나타날 것이라는 가설에 대해 지지하는 정도 .

- P(Bj)는 해당 결과가 나오도록 모든 원인들 마다 기여하는 확률들의 합
: 사후확률의 계산에는 필요한 값이나, 추론/결정/판정에 영향을 미치지 않는 정규화된 상수로 취급됨
대개, 원인이 각 결과에 기여하는 정도가 같고, 정적인 경우임

또한, 사후확률(posterioi)을 다음과 같이, likelihood(조건부확률), 사전확률(priori),
증거(evidence)에 의해서도 표현 가능

※ (Likelihood, 尤度, 가능성/가능도)

한글로는 우도라고 한다. 

우도의 의미
: 나타난 결과에 따라 여러 가능한 가설들을 평가할 수 있는 측도(Measure)이다.
확률적으로 조건부확률로 표현할 수 있음, 우도는 확률로 표현되나 각 가설에 대한 가능도/지지도 등의 의미가 강하다. 여기서 각 가설에 대한 우도는 그 가설을 지지하는 정도라고 볼 수 있다.

우도의 활용
: 알려진 결과(관측된 표본)에 기초하여, 미지 모수에 대한 추정(가설)의 정확성에 대한 질적인 평가 척도

우도의 계산
: 나타난 결과에 해당하는 각 가설 마다 계산해야 하는 값이다.

최대 우도 원리
: 나타난 결과에 해당하는 각 가설 마다 계산된 우도 값 중 가장 큰 값을 선택하는 것이다.(최대우도추정)

우도의 확률적 표현 = 조건부확률
우도(조건부확률)의 표기 : P(Bj|Ai) - 각각의 원인 Ai으로부터 결과 Bj가 나타날 것이라는 가설에 대해 지지하는 정도 . 나타난 결과 Bj 마다 다른 값을 갖는 여러 가설 Ai 들을 평가할 수 있는 조건부확률 , 각각의 원인 Ai은, 분류 범주/분류 영역/카테고리 라고도 함

우도 함수 (Likelihood Function)

 미지의 모수(Population Parameter) θ라는 변수에 의존하는 함수
통상, 모집단의 모수는 미지의 특정(고정) 量이지만, 관측된 표본에 의해 추정되는 모수는 미지의 변수처럼 취급 가능 - 즉, 우도 함수는, 관측결과를 초래한 미지의 모수를 추정하는 것에 대한 함수적 표현이다

관측 표본들에 대한 결합확률밀도함수 = 우도 함수 
모집단이 미지의 모수 θ에 확률적 관계로써 확률밀도함수 fX(x;θ)를 따르고, 관측된 랜덤 표본치
x1,x2,...,xn들로 구성된 데이터 집합이 있을 때, 관측된 랜덤 표본들에 대한 결합확률밀도함수가 우도함수가 된다.

만일,  관측된 랜덤 표본들이 상호독립적이면, 곱해지는 형태를 취함

관측된 랜덤 표본들이 이산적 확률변수라고하면, 우도는 결합확률이 됨

 

ref. m.blog.naver.com/PostView.nhn?blogId=bsw2428&logNo=221388415015&proxyReferer=https:%2F%2Fwww.google.com%2F