iid(independent and identically distribution)란

iid(independent and identically distribution), 한국어로는 독립 항등분포이다.

영어 뜻 그대로 각 각의 random variable이 1)independent(독립적이고), 2)identically distribution(같은 확률분포를)가지면 iid하다고 정의한다.

1) 독립적이라는 것은 각 각의 사건이 다른 사건에 영향을 주지않는 것을 의미한다. 주사위를 예로 들면, 처음 시행에서 1이 나왔다고 하더라도 2번째, 3번째 시행에 영향을 주지 않는다. 

이를 확률로 표현하면 다음과 같은 의미를 가진다.

f(x,y,z) = f(x)∙ f(y) ∙f(z)
f(x(1),x(2),…..,x(n)) = f(x1)∙ f(x2) ∙...∙f(xn)

독립 동일 분포 라고도 한다는데

각각의 random variable들이 독립 + 동일한 확률분포를 가지는 분포를 뜻한다. 

이렇게 보면 조금 어려울 수 있겠지만 우리가 평소 생각하는 동전, 주사위 던지기 같은것을 생각하면 어렵지 않다. 

던지기를 N번 했을 때 각각 던졌을 때의 random variable은 서로 독립적이며, 

동전은 앞/뒤가 나올 확률이 각각 1/2로 같고 주사위도 1/2/3/4/5/6이 나올 확률이 각각 1/6으로 같기 때문에 

N개의 각 variable들은 독립, 동일 분포를 따른다고 할 수 있다.