분산의 정의 타당한가?

서론

 확률론을 공부하면 분산(Variance)을 배우게 된다. 분산(Variance)은 자료값들이 평균으로부터 떨어진 정도를 측정하는 도구이다. 이 사실은 '분산'이라는 단어만 봐도 알 수 있다. 하지만 수학적인 정의로 가면 상황은 조금 미묘해진다. 우선 분산의 수학적 정의는 다음과 같다.

 

$\text{Var}[X]=\text{E}[(X-\mu)^2]$

 

말로 풀면 자료값 $X$와 평균 $\mu$의 차이의 제곱의 평균으로 자료값과 평균 사이의 거리의 제곱의 평균이다. 그런데 자료값과 평균 사이의 거리들의 평균이 분산이라면 

 

$\text{Var}[X]=\text{E}[|X-\mu|]$

 

이렇게 제곱이 아닌 절댓값을 써야 하는 것 아닌가 싶다. 사실 차이의 제곱이 아닌 그냥 차이의 평균, 즉, $\text{Var}[X]=\text{E}[|X-\mu|]$도 통계학에 존재하며 이를 '평균 절대 편차(Mean Absolute Deviation, MAD)'라 한다.

 

 

제곱을 쓰는 이유

(1) 수학적 편의 - 미분 가능성 

 절댓값 함수는 미분 불가능하고 제곱 함수는 미분이 가능하므로 제곱을 이용해서 분산을 정의하면 미분이라는 강력한 도구를 사용해서 확률과 통계의 이론들을 전개할 수 있다.

 

(2) 피타고라스 정리와의 연결

 $n$차원 유클리드 공간에서 두 점 $x=(x_1, x_2, \cdots, x_n)$과 $y=(y_1, y_2, \cdots, y_n)$사이의 거리를 구할 때

 

$(x_1-y_1)^2 + (x_2-y_2)^2 + \cdots + (x_n-y_n)^2$

 

위와 같이 계산한 후 제곱근을 씌운다. 그런데 분산의 모습도 위와 비슷하기 때문에 기하학적 직관과도 연결이 된다.

 

(3) 정규분포와의 궁합

 자연계의 많은 현상을 설며하는 정규분포의 식은 $e^{-(x-\mu)^2/2\sigma^2}$ 형태이다. 식 안에 이미 차의 제곱이 있어 정규분포와의 궁합이 좋다.

 

(4) 이상치에 민감함

 좋은 데이터는 평균 근처에 자료들이 몰려 있는 것이므로 평균으로부터 멀리 떨어진 이상한 값들(Anomaly)을 검출하려면 이상치들에 민감하게 반응해야 한다. 그런데 평균과 자료값의 차이가 3이면 제곱해서 9가 되어 이상치가 분산에 큰 기여를 하게 된다.

 

 

맺는 말

 분산 정의의 시작이 계산 편의성이었다 해도 분산의 정의가 보여주는 자연 현상과의 궁합과 다른 수학 이론들과의 궁합을 보면 정말 신기함을 감출 수 없다.