적률생성함수(MGF)

서론

 확률론과 통계학을 공부하면 별다른 설명없이 적률생성함수(Moment Generating Functions, MGF)이라는 걸 정의하고 이론을 전개해 나간다.(사실 적률이 무슨 말인지도 모르겠다) 정의는 단순하고 활용법도 단순해서 사실 어려운 개념은 아니지만 이런 건 누가 어쩌다가 쓰게 된 것인지 궁금해서 이 글을 쓰게 되었다.

 

 

왜 수학자들은 MGF에 집착하는가?

 적률생성함수의 정의를 알아보자. 확률변수 $X$에 대하여 적률생성함수 $M_X(t)$는 다음과 같다.

 

$M_X(t)=\text{E}[e^{tX}]$

 

이 식에서는 다음과 같은 신기한 일들이 일어난다.

 

① $t$에 대해 미분하면 $\dfrac{d}{dt}M_X(t)=\text{E}[Xe^{tX}]$이고 $t=0$을 대입하면 $M'_X(0)=\text{E}[X]$

② $t$에 대해 두번 미분 후 $t=0$을 대입하면 $M''_X(0)=\text{E}[X^2]$

③ $t$에 대해 $n$번 미분 후 $t=0$을 대입하면 $\text{E}[X^n]$

 

을 구할 수 있다. 적률생성함수가 없이 위와 같은 것들을 얻으려면 복잡한 적분을 수행해야 하기 때문에 수학자들은 MGF에 집착할 수 밖에 없다.

 

 

MGF는 누가 어떻게 발견했는가?

(1) 라플라스(Laplace)의 천재적인 발상 : "함수를 수열처럼 다루자"

 18세기 말~19세기 초, 확률론의 아버지라 불리는 피에르 시몽 라플라스가 이 개념을 체계화했다. 당시에 미적분이 발전하고 해석학이 발전하면서 함수열(A Sequene of Functions) 개념이 널리 알려져 있기도 했고, 당시 수학자들은 이산적인(Discrete) 수열들 $a_0, a_1, a_2, \cdots$을 다룰 때, 이들을 다항식의 계수로 집어 넣어 $A(s)=\sum{a_ns^n}$이라는 함수를 만들었고 이를 이용하면 수열 문제를 미적분을 이용해서 접근할 수 있게 된다. 라플라스는 여기서 한 발 더 나아갔다. "연속적인 확률 분포도 일종의 무한 수열처럼 다항식으로 표현할 수 없을까?"

 

(2) 왜 하필 $e^{tX}$인가?

 수열에서 썼던 $s^n$을 연속형으로 확장하려고 보니 지수법칙을 만족하면서 미분과 적분이 가장 자유로운 도구가 필요했다. 여기서 테일러 급수(Taylor Series)가 등장한다.

 

$e^{tX} = 1 + tx + \dfrac{(tx)^2}{2!} + \dfrac{(tx)^3}{3!} + \cdots$

 

이 식의 기댓값을 취하면

 

$\text{E}[e^{tX}] = 1 + t\text{E}[X] + \dfrac{t^2}{2!}\text{E}[X^2] + \dfrac{(tx)^3}{3!}\text{E}[X^3] + \cdots$

 

이렇게 되어 우리가 구하고 싶은 모든 차수의 적률 $\text{E}[X^n]$들이 $t^n$의 계수로 예쁘게 줄을 서게 된다. 즉, 지수함수는 모든 차수의 정보를 한 줄로 세워 보관하기 가장 완벽한 '데이터 압축 포맷'이었던 셈.

 

(3) '적분 변환(Integral Transform)'이라는 거대한 흐름

 사실 MGF는 라플라스가 고안한 '라플라스 변환(Lapalce Transform)'과 쌍둥이다.

 

① 확률론에서는 $\text{E}[e^{tX}]=\int e^{tX}f(x)dx$

② 라플라스 변환은 $\mathcal{L}\{f(t)\} = \int_{0}^{\infty} e^{-st} f(t) dt$

 

라플라스 변환을 고안한 라플라스가 적률생성함수를 고안한 것은 우연이 아니다.