극한(Limit)은 무엇일까?

 

한국 교육과정에서 극한을 처음 배우는 곳은 수열의 극한이다. 내 경험상 대부분의 학생들이 수열의 극한을 받아들이는데 있어 별로 문제가 없지만 아마 대부분은 그러려니 하고 넘어가는 것이지 정말 진지하게 고민해서 넘어가는 경우는 없을 것이다. 하지만 제대로 된 극한 개념이 나오기 전까지 수학에서는 상당히 오랜 시간동안 논쟁이 있었다. 이 글은 그 내용을 다룬다.

 

문제의 소재1

 

$\displaystyle \lim_{n \rightarrow \infty} \dfrac{1}{n} = 0 $

 

$n$이 무한히 커지면 $\dfrac{1}{n}$의 값은 $0$에 한없이 가까워진다.

 

이 문장에는 짚고 넘어가야 할 지점이 두 군데 있다.

 

① 무한히 커진다는 것은 끝이 없는 과정인데, 끝이 없는 과정을 인간이 확인할 수 있는가

② $0$에 한없이 가까워 지는 것도 인간이 확인할 수 있는가?

 

이 두 질문은 인간 인식의 유한성이 '무수히' 또는 '한없이'라는 표현과는 양립할 수 없다는 것을 전제로 나온 것이다. 이것을 해결하지 못하면

 

"그래서 네가 끝까지 확인해봤어?"

 

라는 질문에 속수무책으로 당할 수 밖에 없다.

 

문제의 소재2

하지만 실제 역사 속에서 사람들을 괴롭힌 것은 수열의 극한이 아니라 미분이 먼저였다. 17세기에 뉴턴과 라이프니츠가 미적분을 만들자 미적분을 이용해서 많은 과학의 문제들이 해결되기 시작하며 18세기의 산업혁명의 공학적 기반을 받쳐주었다. 실제로 당시 과학자들은 엔진의 열역학적 과정을 연구하면서 미적분을 적극 활용했다. 미적분은 천문학, 역학 등의 판도를 뒤집어 놓았다.

 

이런 미적분의 엄청한 효용(Utility)에도 불구하고 미적분의 이론 전개에는 미심쩍은 부분이 많았다. 그 부분들은 모두 한가지 공통점을 갖고 있었는데, 바로 '무한소(Infinitesimal)' 개념이다. 무한소란 $0$은 아니지만 그 어떤 수보다 $0$에 가까운 수를 의미한다. 당시에 어떤 식으로 무한소가 사람들을 괴롭혔는지 알아보자.

 

예1) $y=x^2$의 $(2,4)$에서의 접선의 방정식을 구하여라

접선을 구하기 전에 $(2,4)$에 가까운 한 점 $(2+\Delta x, (2+\Delta x)^2)$을 잡고 이 두 점을 지나는 직선(할선)의 방정식을 구하기 위해 기울기 $a$를 계산해보자.

 

$a = \dfrac{ (2+\Delta x)^2 - 4 }{( 2+\Delta x) - 2 } = \dfrac{ 4\Delta x + (\Delta x)^2 }{ \Delta x } = 4 + \Delta x$

 

이다. 여기서 $\Delta x$를 무시하면 기울기는 $a=4$이다. 따라서 접선의 방정식은 $y = 4(x-2)+4$다.

 

실제로 당시 사람들은 이렇게 논리를 전개했다. 여기서 분명 처음에 $\Delta x$는 $0$이 아닌 값이었는데, 마지막에 $0$ 취급을 하는 논리적 모순이 발생한다. 이 지점을 당시의 성공회의 버클리 주교가 맹공격했다.

 

미적분학의 악몽 - 조지 버클리

1734년 버클리는 자신의 저서 The Analyst에서 뉴턴의 유율(Fluxion)과 라이프니츠의 무한소를 비판하면서, 그 유명한 표현인 "Ghosts of Departed Quantities"를 남겼다. 즉, "사라져버린 양들의 유령들"이라는 뜻이다. 

 

버클리의 비판은 단순한 조롱이 아니었다. 꽤 날카로웠는데 다음과 같다.

 

① 논리적 문제

 - 무한소를 계산 중에는 $0$이 아닌 것처럼 쓰다가, 결론에서는 $0$처럼 없애버린다.

②  존재론적 문제

 - 그런 양(Quantity)이 실제로 무엇인지 아무도 분명히 말하지 못한다.

③ 철학적 문제

 수학자들이 종교의 신비는 비웃으면서 정작 자신들은 더 이상한 신비를 허용한다.

 

이러한 비판에도 미적분학이 세상을 이해하는데 도움을 주었기 때문에 사람들은 계속 사용할 수 밖에 없었다.

 

해결사의 등장 - 코시와 바이어스트라스

(1) 코시(Cauchy)

19세기에 들어와서 코시는 1821년 자신의 저서 Cours d'analyse에서 극한, 무한소, 연속성, 급수의 수렴을 체계적으로 정리하는 시도를 했다.

 

코시는 무한소를 $0$을 향해 달려가는 변수(variable)로 정의했다. 그렇다면 무한소의 극한은 무한소가 달려가는 목적지가 되므로

 

$\displaystyle \lim_{h \rightarrow \infty} h = 0$

 

과 같은 표시가 논리적인 의미를 갖게 된다. 보면 알겠지만 코시의 정의가 고등학교 수학에서 극한을 다루는 방식이다. 학교에서도 어떤 수열 $a_n$이 $3$에 한없이 가까워지면(즉, 달려가는 곳이 $3$) 극한값을 $3$이라 한다고 가르친다.

 

더 쉽게 이야기하면 $\displaystyle \lim_{n \rightarrow \infty} \left( 3+\dfrac{1}{n} \right) = 3$의 의미는 $3+\dfrac{1}{n}$이 $3$이 된다는 것이 아니고 $3$이 목적지라는 뜻이다.

 

코시는 여기에 그 유명한 입실론-델타($\varepsilon - \delta$) 논법을 적용하여 현대적인 극한의 기초를 열었다. 다만 현대적인 의미의 극한을 완성한 사람은 코시가 아닌 바이어스트라스임이 주류 견해이다.

(2) 바이어스트라스(Weierstrass)

코시가 처음 도입한 입실론-델타 논법을 바이어스트라스가 현대적인 형태로 완성시켰다. 이로써 예전에 무한소로 하던 계산들을 정당화하는 산술화(Arithmetization)을 완성했다.

 

오늘날 우리가 해석학에서 배우는

 

$\forall \varepsilon > 0,\ \exists \delta > 0 \text{ such that } |x-a|<\delta \Rightarrow |f(x)-L|<\varepsilon$

 

이것이다.

 

입실론-델타 논법은 '극한'에 대한 인식론적 오류를 원천 차단한다. 고등학교 수준의 극한은 끊임없이 움직이는 역동적인 개념이라서 인간은 유한 시간 내에 그 과정의 끝을 확인할 수 없어 인식론적 문제가 생긴다.

 

하지만 입실론-델타는 극한을 동적인 과정이 아니라 극한 값(목적지)에 얼마나 가까운지 원하는 만큼 확인할 수 있다는 것을 증명하는 것이다. 즉, 극한의 개념을 정적인 개념으로 끌어 내렸다.

 

무한소의 부활

입실론-델타를 배운 사람들은 처음에 그 특유의 난해함에 혀를 내두르곤 한다. 수학과는 보통 2학년에 배우는데 여기서 수학 공부를 포기하는 사람들이 쏟아져 나오기도 한다. '무한소'라는 기묘한 개념을 받아들인다면 쉽게 할 수 있는 수학이지만 '무한소'를 피하다가 어려운 수학이 되었다고 할 수 있다.

 

여기에 안타까움을 느낀 세기의 천재 에이브러햄 로빈슨(Abraham Robinson)은 무한소 개념을 논리적으로 엄밀하게 만들어 초기의 미적분학을 하던 사람들의 논리적 근거를 마련해주었다. 이 분야를 비표준 해석학(Nonstandard Analysis)라 한다. 아쉽지만 이름에서 드러나듯 현대 수학의 비주류 중의 비주류라서 우리가 딱히 배울 일은 없어서 안타깝다.

 

정리하면

고등학교 수준에서 극한은

 

목적지를 향해 달려가는 것이고 극한 값은 그 목적지

 

대학 수준에서의 극한은

 

목적지에 원하는 만큼 가까워질 수 있는지 확인할 수 있는 것

 

이다.