
2. 볼츠만의 엔트로피
(1) 열과 입자에 대한 논쟁
19세기 초에 열역학은 상당히 많이 발전했지만 여전히 '열(Heat)'이란 무엇인가?에 대한 논쟁은 끊이지 않았다. 주류 견해는 다음과 같았다
"열은 그 자체로 독자적인 흐름이다"
하지만 소수 견해로
"열의 흐름은 입자의 운동에 의해 일어난다"
이런 견해가 있었다.
(2) 볼츠만의 접근
볼츠만은 소수론을 지지했다. 그래서 볼츠만은 에너지가 높은 곳에서 낮은 곳으로 흐르는 이유는 에너지가 낮은 곳에는 입자들이 존재하기 쉽기 때문이라고 생각했다. 클라시우스는 엔트로피의 변화를 "열이 흐른 결과"로, 볼츠만은 "입자들이 움직인 결과"로 본 것이다. 따라서 볼츠만은 입자들이 공간에서 존재할 수 있는 경우의 수가 엔트로피와 깊은 관계가 있다는 것에서 시작한다.
우선, 볼츠만은 다음과 같은 가정을 세웠다.
두 개의 독립된 시스템 $A$, $B$를 합치면, 전체 엔트로피는 각각의 합이어야 한다.
$S_{total} = S_A + S_B$
그런데 각각의 시스템에서 입자들의 위치가 될 수 있는 경우의 수를 $W_A$, $W_B$라 하면 두 시스템을 합쳤을 때 경우의 수는 $W_A \times W_B$이다.(독립 사건들의 경우의 수, 곱의 법칙)
그렇다면 엔트로피가 경우의 수와 함수 관계에 있다면 $S=f(W)$라 할 수 있으므로
$f(W_A \times W_B) = f(W_A) + f(W_B)$
위와 같은 함수방정식을 만족해야 한다. 위 방정식을 만족하는 연속함수는 로그함수뿐이다. 따라서
$f(W) \propto \ln{(W)}$
여기에 거시적인 에너지 단위와 맞추기 위한 비례 상수 $k$(볼츠만 상수)를 붙여서 그 유명한 식이 탄생한다.
$f(W) = k\ln{(W)} \Rightarrow S = k \ln{(W)}$
예1) 한 상자 안에 구획이 A, B 2개로 나뉘어 있고 입자 3개가 어딘가에 존재한다. 엔트로피를 구하시오.
입자 0개가 A에, 3개가 B에 존재하는 경우는 1가지
입자 1개가 A에, 2개가 B에 존재하는 경우는 3가지
입자 2개가 A에, 1개가 B에 존재하는 경우는 3가지
입자 3개가 A에, 0개가 B에 존재하는 경우는 1가지
그러므로 $W=8$이다. 엔트로피는 $S = k \ln (8)$
(3) 볼츠만의 엔트로피와 클라우시우스의 엔트로피의 관계
그렇다면 거시적인 관점에서 세운 엔트로피 식과 미시적인 관점에서 세운 엔트로피 식은 과연 일치할까? 확인해보기 위해 이상 기체(Ideal Gas)의 등온 팽창(Isothermal Expansion) 상황을 보자.
부피가 $V$이고 입자 수가 $N$개인 이상 기체가 온도 $T$를 유지하며 미소 부피 $dV$만큼 가역적으로 팽창한다고 가정하자.
[거시적 관점]
열역학 제1법칙에 의해 $dQ = dU + dW$이다. 등온과정($dT=0$)이므로 내부 에너지 변화 $dU=0$이다. 따라서 흡수한 열량은 곧 계가 한 일과 같다.
$dQ_{rev} = PdV$
여기에 이상 기체 상태 방정식 $P=\dfrac{NkT}{V}$를 대입하면
$dQ_{rev} = \dfrac{NkT}{V}dV$
클라우시우스의 정의에 따라 엔트로피 변화량 $dS$는 다음과 같다.
$dS = \dfrac{dQ_{rev}}{T} = \dfrac{NkT}{VT}dV = Nk\dfrac{dV}{V}$
[미시적 관점]
입자 $1$개가 부피 $V$ 안에 존재할 확률적 공간의 크기는 $V$에 비례한다. 입자가 $N$개라면, 전체 입자가 가질 수 있는 공간적 위치의 경우의 수(상태 수) $W$는 다음과 같다.
$W \propto V^N$
볼츠만의 정의에 따라 엔트로피 $S$를 구하면
$S = k \ln W = k \ln (C\cdot V^N) = Nk \ln V + \text{constant}$
이므로 (외)미분 $d$를 취하면
$dS = \dfrac{\partial S}{\partial V}dV = \dfrac{\partial}{\partial V}(NK \ln V)dV = Nk\dfrac{dV}{V}$
즉, 두 정의가 일치한다.
(4) 깁스(Gibbs) - 볼츠만의 엔트로피 정의를 일반화하다
위 '예1'에서는 각각의 입자들이 어느 구획에 있을지 가능성이 동일하다는 전제 하에 엔트로피를 구했다. 하지만 실제로 입자마다 어떤 곳에 존재할지 확률이 다를 수 있어서 깁스는 불균등한 존재 가능성을 고려한 엔트로피를 정의했다.
$\displaystyle S = -k \sum p_i \ln (p_i)$
여기서 $p_i$는 $i$번째 상태가 발생할 가능성이다.
예1의 예를 들면 세 입자 $x$, $y$, $z$가 있을 때,
$x$가 구역 A에 존재할 가능성을 $1/3$, 구역 B에 존재할 가능성을 $2/3$
$y$가 구역 A에 존재할 가능성을 $1/2$, 구역 B에 존재할 가능성을 $1/2$
$z$가 구역 A에 존재할 가능성을 $1/4$, 구역 B에 존재할 가능성을 $3/4$
이라 하면 모든 입자가 구역 A에 존재할 가능성은 $p_1 = \frac{1}{3} \times \frac{1}{2} \times \frac{1}{4} = \frac{1}{24}$이다.
입자 1개가 구역 A에 존재하고 나머지는 구역 B에 존재할 가능성은 $p_2 = \frac{1}{3} \times \frac{1}{2} \times \frac{3}{4} + \frac{2}{4} \times \frac{1}{2}\times \frac{3}{4} + \frac{2}{3} \times \frac{1}{2} \times \frac{1}{4} = \frac{11}{24}$이다.
이런 식으로 8가지 경우를 다 계산해서 깁스 엔트로피 공식에 대입하면 된다.
(5) 깁스의 엔트로피와 볼츠만의 엔트로피의 관계
볼츠만은 모든 미시 상태가 나타날 확률이 동일하다($p_i = 1/W)$는 가정을 했으므로 이를 깁스의 식에 대입해 보면
$\displaystyle S = -k \sum_{i=1}^{W} \left( \dfrac{1}{p_i}\ln \dfrac{1}{p_i} \right)$
이고 $W = 1/p_i$이므로
$\displaystyle S = -k \sum_{i=1}^{W} \left( \dfrac{1}{W} \ln \dfrac{1}{W} \right)$
이다. 로그의 성질을 이용하면
$\displaystyle S = -k \sum_{i=1}^{W} \left( \dfrac{1}{W} \left( -\ln W \right) \right)$
이다. 마이너스가 상쇄되고 $\frac{1}{W}\ln W$는 상수이므로 시그마 밖으로 나오면
$\displaystyle S = k \ln W \sum_{i=1}^{W} \dfrac{1}{W}$
이다. 여기서 시그마는 확률의 합이므로 $1$이다. 따라서
$S = k \ln W$
가 되어 볼츠만의 엔트로피가 나온다.
'단편 강의' 카테고리의 다른 글
| 크로스 엔트로피와 KL Divergence(1) (0) | 2026.04.07 |
|---|---|
| 엔트로피(Entropy) 이야기(3) - 섀넌 (0) | 2026.04.06 |
| 엔트로피(Entropy) 이야기(1) - 클라우시우스 (1) | 2026.04.06 |
| 이미지 노이즈 제거 알고리즘 - TV method(3) (0) | 2026.04.06 |
| 이미지 노이즈 제거 알고리즘 - TV method(2) (0) | 2026.04.06 |