행렬식(Determinants)(3)

 

 

 

이 글은 생성형 AI를 이용하여 작성되었음

행렬식의 기하학적 의미는 어떻게 발견되었는가

행렬식의 기하학적 의미는 “나중에 덧붙여진 직관”이라기보다, 처음에는 연립방정식의 해 존재와 소거 계산에서 출발한 특정 조합식이 점차 독립된 수학적 객체로 승격되면서 자연스럽게 드러난 결과였다. 초기의 수학자들에게 행렬식은 먼저 “무언가를 판별하는 수”였다. 그러나 같은 조합식이 소거, 대수적 대칭성, 좌표변환, 다중적분의 변수치환에서 반복적으로 나타나자, 18세기 후반에는 그것이 단지 해의 존재만이 아니라 넓이·부피의 배율을 측정하는 양이라는 사실이 드러났다. 특히 1773년 Lagrange의 사면체 부피 공식은, 오늘날 우리가 말하는 "행렬식 = 부호가 있는 부피"(determinant = signed volume)의 가장 이른 뚜렷한 문헌 증거로 보인다. 19세기에는 Cauchy와 Jacobi가 행렬식을 독립 이론으로 정리하고, 해석학에서는 Jacobian이 변수치환의 국소 부피 배율로 자리 잡으면서, 대수·기하·해석이 하나의 개념으로 수렴했다. 따라서 행렬식의 기하적 의미는 우연한 발견이 아니라, “선형 변환이 $n$차원 측도를 어떻게 바꾸는가”라는 문제에 대한 거의 필연적인 귀결이었다. 

 

역사적 전개와 정착의 큰 흐름

표준 수학사 서술이 일관되게 강조하듯, 행렬식은 행렬보다 먼저 태어났다. 그 출발점은 추상적 선형변환이 아니라, 연립일차방정식·소거·대수적 곡선의 조건식이었다. 중국의 《구장산술》은 이미 기원전 2세기 무렵 표(table)와 소거를 사용했지만, 근대적 의미의 행렬식은 17세기 후반 일본과 유럽에서 별도로 형성되었다. 그 뒤 18세기에는 Cramer, Bézout, Vandermonde, Laplace가 이를 소거와 대수적 계산의 핵심 도구로 키웠고, 19세기에 Cauchy와 Jacobi가 이론을 정식화했다. Knobloch가 지적하듯 19세기에는 행렬식을 다룬 출판물이 2,000편이 넘을 정도로 이 주제가 폭발적으로 성장했는데, 이는 선형문제가 당시 수학의 중심부에 있었기 때문이다. 

이 흐름을 연대기로 압축하면 다음과 같다. 표에서 보듯 “해의 판별식”에서 “기하적·해석적 불변량”으로의 이동은 한 번의 정의 변경으로 일어난 것이 아니라, 서로 다른 문제들이 같은 수를 계속 호출하면서 일어났다. 

 

연도	인물	기여
B.C 2	《구장산술》	계수표와 소거를 사용한 연립방정식 풀이. determinant 자체는 아니지만 후대 행렬·가우스 소거의 선사(前史).
1545	카르다노	2원 1차 연립방정식에 대해 사실상 Cramer 규칙의 전단계에 해당하는 규칙 제시.
1683	세키 다카카즈	일본에서 determinant류 계산을 표 형식으로 전개. 용어는 없었지만 2×2부터 5×5까지 계산법 제시.
1693	라이프니츠	de l’Hôpital에게 보낸 편지에서 determinant 영(0) 조건에 해당하는 식을 기술. “resultant”라는 표현 사용, Laplace 전개에 해당하는 생각도 보유.
1750	가브리엘 크라메르	$n\times n$ 연립방정식 해법을 일반형으로 제시. 맥락은 “주어진 점들을 지나는 평면대수곡선의 방정식” 문제였다.
1764–1771	에티엔 브주, 방데르몽드	determinant 계산법과 소거 이론을 진전시킴. determinant가 단순한 해 공식의 부산물이 아니라 별도 계산대상으로 부상.
1772	라플라스	소행렬식 전개, 즉 오늘날 Laplace 전개를 제시. 행렬식을 점차 독립된 계산 체계로 만듦.
1773	라그랑주	3×3 functional determinant를 연구하면서 사면체 부피가 특정 determinant형 식의 (1/6)임을 명시. 기하적 의미의 최초 분명한 증거.
1801	가우스	determinant라는 용어를 최초 도입. 다만 현대적 determinant와 정확히 동일한 개념은 아니고, 이차형식의 성질을 “결정”하는 양이라는 뜻이었다.
1812–1815	코시	determinant를 현대적 의미에서 사용하고 곱셈정리를 증명. 1812에 발표, 1815에 출판된 두 논문이 초기 determinant 이론의 통합점이 됨.
1841	야코비	determinant의 알고리즘적 정의를 제시하고 functional determinant 이론을 체계화. Jacobian 전통의 출발점.

 

이 연표가 말해주는 핵심은, 행렬식이 처음부터 “선형대수학의 한 장”으로 태어난 것이 아니라는 점이다. 오히려 행렬식은 소거와 방정식 해법의 계산 문화 속에서 자라났고, “matrix”라는 말은 Sylvester가 1850년에야 도입했고 Cayley가 1858년에야 추상적 matrix 개념을 분명히 했다. 다시 말해 역사적으로는 행렬식이 먼저, 행렬이 나중이었다.

 

기하적 해석이 언제 처음 보였는가

가장 중요한 1차 사료는 Lagrange의 1773년 논문이다. 그는

 

$ \Delta =xy'z''+yz'x''+zx'y''-xz'y''-yx'z''-zy'x'' $

 

라는 3차 식을 정의한 뒤, 원점 $L$과 세 점 $M,M',M''$가 이루는 사면체의 “solidité”가 $\Delta/6$임을 보였고, 이어 $\Delta$가 “그 사면체의 체적의 여섯 배”를 표현한다고 명시했다. 이 문헌은 행렬식 값이 단지 “해가 있느냐 없느냐”를 말해주는 기호가 아니라, 실제 공간의 기하량을 수치화한다는 사실이 처음 분명히 드러난 순간으로 읽힌다.

 

2×2의 넓이 해석은 오늘날 너무 익숙해서 더 오래되었을 것처럼 보이지만, “행렬식 그 자체의 값”을 독립적으로 넓이와 결부해 명시한 최초 원전을 이번 조사 범위에서 확정하기는 어려웠다. 평면기하와 해석기하에는 삼각형 넓이 공식, 평행사변형 넓이 공식 등 행렬식과 동치인 식들이 일찍부터 있었지만, 표준 수학사 자료들은 대체로 Lagrange의 1773년 사례를 “행렬식의 기하적 의미가 문헌에서 분명히 보이는 첫 장면”으로 꼽는다. 따라서 2×2 넓이 해석의 사실상 사용은 더 이르지만, 행렬식 이론의 자기의식적 일부로서의 최초 명시 사례는 이번 조사 기준 “미확인”, 반면 3×3 부피 해석의 최초 분명한 사례는 Lagrange 1773으로 보는 것이 안전하다. 

 

왜 여기서 곧바로 “orientation”이 따라오는가도 역사적으로 자연스럽다. 현대 교과서식으로 말하면 2×2에서는 두 벡터의 순서가 반시계면 양, 시계면 음이고, 3×3에서는 오른손 법칙이 부호를 준다. 이 부호는 둘의 순서를 바꾸면 행렬식의 부호를 바꾸는 교대성에서 직접 나온다. 즉 signed area/volume은 행렬식에 사후적으로 “의미를 붙인 것”이 아니라, 행렬식의 교대성 자체를 기하적으로 읽은 것이다. Lagrange의 논문에는 아직 현대적 orientation 용어가 없지만, 식에 이미 부호가 들어 있다는 사실이 후대의 signed volume 해석을 위한 토대를 제공했다. 

 

Jacobian과 변수치환에서의 확장

기하적 해석이 결정적으로 정착한 또 하나의 경로는 해석학, 특히 다중적분의 변수치환이었다. Roy의 역사 서술과 후대 수학사 자료에 따르면, 이 변화는 Euler가 1769년 이중적분의 변수변환 공식을 제시한 데서 시작되었고, Lagrange가 이를 삼중적분으로 확장했으며, 이후 Laplace·Gauss·Ostrogradski·Jacobi 등이 일반화와 증명에 참여했다. 여기서 행렬식는 이제 “선형변환이 부피를 얼마나 늘이거나 줄이는가”를 나타내는 국소 배율로 등장한다. 곧,

 

$ dx,dy,dz = |\det DT(u,v,w)|du,dv,dw $

 

라는 생각이 analysis 쪽에서 굳어지기 시작한 것이다. 

 

이 맥락에서 Jacobi가 중요하지만, 흥미롭게도 functional determinant는 Jacobi보다 먼저 Cauchy의 1815 논문에 이미 나타난다. 다만 Jacobi는 1841년 De determinantibus functionalibus에서 이 주제를 전면적으로 다루며, 함수적 독립성과 Jacobian의 소멸 조건 등을 체계화했다. 그래서 “Jacobian”이라는 이름은 Jacobi에게 붙었지만, 역사적으로는 Cauchy가 선구자이고 Jacobi가 정착자였다. 

 

또 하나 자주 잊히는 이름이 Ostrogradski이다. 그는 변수치환 정리를 $n$변수로 일반화하고, 이중적분의 변수치환 정리에 대한 최초의 증명도 제시했지만 서유럽에서 거의 인정받지 못했다. 이 사실은 행렬식의 기하적 의미가 “한 사람의 번쩍이는 통찰”보다는, 적분·유체·열·역학 같은 여러 문제에서 반복적으로 필요해진 결과였음을 잘 보여준다. 좌표를 바꾸면 미소 부피 요소가 어떻게 바뀌는가라는 질문은 결국 Jacobian determinant를 부피 배율로 읽게 만들 수밖에 없다. 

 

왜 이것이 수학적으로 자연스러운 귀결인가

현대 선형대수의 관점에서 행렬식의 본질은 세 조건으로 요약된다.

 

첫째, 각 행에 대해 선형적이어야 한다.

둘째, 두 행을 바꾸면 부호가 바뀌는 교대성을 가져야 한다.

셋째, 단위행렬의 행렬식은 $1$이어야 한다.

 

이 공리들이 왜 기하를 강제하는지도 명확하다. shear(한 행에 다른 행의 배수를 더하는 것)는 평행육면체의 부피를 바꾸지 않는다. 한 행을 $c$배 하면 해당 방향 길이가 $c$배가 되어 부피도 $c$배가 된다. 두 행을 바꾸면 모양의 크기는 같지만 순서가 뒤집혀 부호가 바뀐다. 그리고 단위정육면체의 부피는 1이다. 그러니 “정렬된 $n$개의 벡터가 만드는 oriented $n$-부피”를 수로 측정하는 함수를 찾으면, 그 함수는 행렬식일 수밖에 없다. 교과서가 volume interpretation을 단순한 비유가 아니라 행렬식 공리의 동기라고 말하는 이유가 바로 여기에 있다. 

 

역사적으로도 이 점은 자연스럽다. 처음의 행렬식 계산은 소거를 위한 형식조작이었지만, 그 형식조작이 사실상 “행을 바꾼다, 한 행에 다른 행을 더한다, 한 행을 스칼라배한다”는 연산과 같은 규칙을 따른다는 사실이 점차 분명해졌다. Jacobi의 1841년 작업이 혁명적이었던 이유도 바로 행렬식을 특정 숫자 표가 아니라, 일반적인 배열이나 함수들에 대해 작동하는 알고리즘적 규칙으로 재정식화했기 때문이다. 그러자 행렬식은 더 이상 공식 하나가 아니라, 대수와 기하를 관통하는 구조가 되었다. 

 

정의 방식의 경쟁과 수용의 시간차

초기의 행렬식에는 하나의 “정통 정의”가 없었다. 서로 다른 시대는 서로 다른 출발점을 선호했다. 누군가는 방정식 해결 공식에서 시작했고, 누군가는 permutation 합에서 시작했으며, 누군가는 소행렬식 전개를 기본으로 삼았다. 이 차이는 단순한 취향 차이가 아니라, 행렬식을 무엇으로 보았는가의 차이였다. Lagrange 자신도 1773년 자신의 functional determinant 연구를 Laplace나 Vandermonde의 행렬식 계산과 연결해서 보지 않았다. 즉 우리는 후대의 통일된 개념을 과거에 소급해 읽고 있는 셈이다

 

초기 정의 방식	인물	장점	한계
연립방정식·소거 중심	Leibniz, Cramer	“왜 필요한가”가 분명하다. 해의 존재와 해 공식에 직결된다.	구조 자체보다 계산 목적이 앞서서, 기하적 의미가 가려진다.
permutation 합	Leibniz식 (후대의 표준 공식)	부호와 대칭성이 한 번에 드러난다. 유일성 증명과 잘 맞는다.	계산량이 폭증하고, 초심자에게는 왜 이런 합을 쓰는지 가장 불투명하다.
Laplace 전개	Laplace	재귀적 구조와 소행렬식 이론을 잘 보여준다.	계산 효율은 매우 낮고, 기하적 의미는 따로 설명해야 한다.
행연산·알고리즘 정의	Jacobi, 현대 교과서	계산·증명·불변성 설명에 강하다. 어떤 항목이 들어와도 작동한다.	역사적으로는 늦게 정리된 관점이며, volume 의미 없이는 “왜 이 공리인가”가 다시 남는다.

 

기하적 해석의 수용이 늦어진 이유도 여기에서 설명된다. 18세기와 19세기 초 행렬식의 주무대는 선형대수 강의실이 아니라 소거이론, 이차형식, 천체역학, 적분계산이었다. 따라서 행렬식을 처음부터 “volume”으로 정의할 실용적 압력이 강하지 않았다. 반대로 19세기 후반까지 행렬식 이론이 비대해질 정도로 번성한 것은, 그 시기 수학자들이 선형 문제를 계산적으로 다루는 데 행렬식을 대단히 유용하게 보았기 때문이다. Vandermonde determinant라는 이름조차 프랑스의 교육 관행 속에서 19세기 후반에 퍼지기 시작해 20세기 들어서야 널리 굳어졌다는 연구는, 명칭과 개념의 정착이 생각보다 느렸음을 보여준다. 

 

아래서부터는 현대적인 접근법에 대한 서술과 증명이다.

 

현대의 엄밀한 수학적 접근법

$R$을 단위원을 가진 가환환이라 하고, $M_n(R)$ $n\times n$ 행렬의 집합이라 하자. 행렬 $A$의 열들을 $c_1,\cdots,c_n\in R^n$라 쓸 때, 함수

 

$ D:M_n(R)\to R, A\mapsto D(A)=D(c_1,\cdots,c_n) $

 

가 다음을 만족하면 determinant function이라 하자.

 

첫째, 다중선형성 : $ D(c_1,\cdots,\alpha c_j+\beta c_j',\cdots,c_n) = \alpha D(c_1,\cdots,c_j,\cdots,c_n)+\beta D(c_1,\cdots,c_j',\cdots,c_n)$

 

둘째, 교대성: $ c_i=c_j\ (i\neq j)\quad\Longrightarrow\quad D(c_1,\cdots,c_n)=0$

 

셋째, 정규화: $ D(I_n)=D(e_1,\cdots,e_n)=1$

 

이 공리들에서 즉시 나오는 성질들이 있다. 먼저 두 열을 바꾸면 부호가 바뀐다. 실제로 $i<j$에 대해 $x,y\in R^n$를 넣고, $ D(\cdots,x+y,\cdots,x+y,\cdots) =0 $ 를 다중선형으로 전개하면

 

$ D(\cdots,x,\cdots,y,\cdots)+D(\cdots,y,\cdots,x,\cdots)=0 $

 

즉 $D(\cdots,y,\cdots,x,\cdots)=-D(\cdots,x,\cdots,y,\cdots)$ 또한 한 열에 다른 열의 스칼라배를 더해도 행렬식은 변하지 않는다.

 

$\begin{align} D(\cdots,c_i+\lambda c_j,\cdots,c_j,\cdots) &= D(\cdots,c_i,\cdots,c_j,\cdots)+\lambda D(\cdots,c_j,\cdots,c_j,\cdots)\\ &= D(\cdots,c_i,\cdots,c_j,\cdots)\end{align}$

 

이 식은 “shear는 부피를 바꾸지 않는다”는 기하학적 사실의 대수적 반영이다. 행에 대해서도 같은 결론이 성립하며, 이는 $\det(A^T)=\det(A)$로 정리된다. 

 

이 공리적 틀에서 선형대수의 핵심 정리들도 자연스럽게 나온다. 가환환 위에서는

 

$\det(AB)=\det(A)\det(B)$

 

체(Field) 위에서는

 

$ \det(A)\neq 0 \iff A \text{ 가 가역} \iff Ax=b \text{ 가 모든 }b\text{ 에 대해 유일해를 가짐}$

 

또한 $\det(A)\neq0$일 때는 adjugate와 Cramer 규칙을 통해

 

$ A^{-1}=\frac{1}{\det(A)}\operatorname{adj}(A),\qquad x_j=\frac{\det(A_1,\cdots,A_{j-1},b,A_{j+1},\cdots,A_n)}{\det(A)} $

 

가 된다. 그러므로 행렬식의 값은 단지 “0인지 아닌지”만이 아니라, 역행렬과 해의 정확한 크기를 결정하는 정규화 인자이기도 하다.

 

존재성과 유일성의 엄밀한 증명

이 절이 보고서의 수학적 핵심이다. 증명은 완전히 구성적이다. 즉 “그런 함수가 하나 있을 것이다”라고 추상적으로 말하지 않고, 실제로 공식을 써서 만들고, 그 공식을 만족하는 다른 함수가 있을 수 없음을 보인다. 이 전략은 현대 교과서적 표준이며, 역사적으로도 Jacobi 이후 행렬식이 받아들여진 방식과 잘 맞는다. 

 

먼저 $2\times2$ 경우를 천천히 보자. $\varphi:R^2\times R^2\to R$가 교대적 쌍선형 함수이고 $\varphi(e_1,e_2)=1$이라 하자. 임의의 두 열벡터를

 

$v=ae_1+ce_2, w=be_1+de_2$

 

라 두면, 쌍선형성에 의해

 

$\varphi(v,w)=ab\varphi(e_1,e_1)+ad\varphi(e_1,e_2)+cb\varphi(e_2,e_1)+cd,\varphi(e_2,e_2)$

 

교대성 때문에

 

$\varphi(e_1,e_1)=\varphi(e_2,e_2)=0$

 

이고, 두 인자를 뒤바꾸면 부호가 바뀌므로

 

$\varphi(e_2,e_1)=-\varphi(e_1,e_2)=-1$

 

따라서 $\varphi(v,w)=ad-bc$ 즉 $2\times2$에서 공리를 만족하는 함수는 존재한다면 무조건

 

$\det\begin{pmatrix}a&b\\ c&d\end{pmatrix}=ad-bc$

 

이어야 하며, 따라서 존재성과 유일성이 동시에 보인다. 이것이 $2\times2$ 행렬식의 공리적 완결형이다. 

 

이제 일반 $n$차원으로 간다. 행렬

 

$A=(a_{ij})\in M_n(R)$

 

의 $j$번째 열을

 

$c_j=\sum_{i=1}^n a_{ij}e_i$

 

로 쓰자. 그러면 행렬식의 자연스러운 후보는 표준기저에서의 값을 먼저 정하고, 다중선형성으로 모든 행렬에 연장하는 방식으로 만들어진다. 즉

 

$\det(A) := \sum_{\sigma\in S_n}\operatorname{sgn}(\sigma)\prod_{j=1}^n a_{\sigma(j),j}$

 

이것이 바로 permutation formula, 또는 Leibniz–Jacobi 공식이다. 이 정의가 실제로 공리를 만족함을 확인하자.

첫째, 다중선형성 : 위 합의 각 항은 각 열에서 정확히 하나의 성분만 고른 곱이므로, 특정 열 $c_j$에 대해 선형이다. 합 전체도 따라서 각 열에 대해 선형이다.

둘째, 교대성 : 만약 두 열 $i,j$가 같다면, 각 순열 $\sigma$에 대해 $(ij)\sigma$를 짝지을 수 있고 두 항의 곱 부분은 같으며 부호만 반대이므로 상쇄된다. 따라서 전체 합은 0이다.

셋째, 정규화 : $I_n$에서는 항 $\prod_{j} a_{\sigma(j),j}$가 1이 되는 경우가 $\sigma=\mathrm{id}$뿐이므로 $\det(I_n)=1$.
따라서 공리를 만족하는 함수가 실제로 구성적으로 존재한다.

 

이제 유일성을 증명하자. $\Phi:M_n(R)\to R$가 다중선형·교대·정규화 공리를 만족한다고 하자. 위와 같이 (A)의 열들을 $c_j=\sum_i a_{ij}e_i$로 쓰면, 다중선형성으로

 

$\Phi(A) = \sum_{i_1,\cdots,i_n} a_{i_1,1}\cdots a_{i_n,n}, \Phi(e_{i_1},\cdots,e_{i_n})$

 

그런데 $i_k=i_\ell$인 지수가 한 번이라도 나오면 두 기저벡터가 같아지므로 교대성에 의해

 

$\Phi(e_{i_1},\cdots,e_{i_n})=0$

 

따라서 살아남는 항은 $(i_1,\cdots,i_n)$이 $(1,\cdots,n)$의 순열인 경우뿐이다. 즉 $i_j=\sigma(j)$인 $\sigma\in S_n$만 남는다. 그런데 기저벡터들을 $(e_1,\cdots,e_n)$에서 $(e_{\sigma(1)},\cdots,e_{\sigma(n)})$로 옮기는 것은 열교환들의 합성이고, 열교환 하나마다 부호가 바뀌므로

 

$\Phi(e_{\sigma(1)},\cdots,e_{\sigma(n)})=\operatorname{sgn}(\sigma)\Phi(e_1,\cdots,e_n) =\operatorname{sgn}(\sigma)$

 

따라서

 

$\Phi(A) = \sum_{\sigma\in S_n}\operatorname{sgn}(\sigma)\prod_{j=1}^n a_{\sigma(j),j} = \det(A)$

 

즉 공리를 만족하는 함수는 오직 하나뿐이다. 이것이 행렬식의 유일성 정리다. 귀류법 없이도, 기저 전개만으로 끝까지 밀어붙일 수 있다. 

 

이 유일성 정리는 곧바로 곱셈성을 준다. 고정된 $A$에 대해 함수

 

$F_A(v_1,\cdots,v_n):=\det(Av_1,\cdots,Av_n)$

 

를 정의하자. $F_A$는 $v_1,\cdots,v_n$에 대해 다중선형이고 교대적이다. 또한 $F_A(e_1,\cdots,e_n)=\det(A)$ 유일성 정리에 의해, 정규화된 행렬식 $\det(v_1,\cdots,v_n)$에 $\det(A)$를 곱한 것 말고는 이런 함수가 있을 수 없으므로

 

$F_A(v_1,\cdots,v_n)=\det(A)\det(v_1,\cdots,v_n)$

 

이제 $v_j$를 $B$의 $j$번째 열로 두면 $\det(AB)=\det(A)\det(B)$ 즉 곱셈성은 “특별한 계산기교”가 아니라 유일성의 직접적인 귀결이다. 

 

마지막으로 여인자(cofactor) 전개도 이 공리들로부터 나온다. 그러므로 permutation formula, cofactor expansion, 행연산 기반 계산법은 서로 다른 행렬식이 아니라 동일한 유일한 행렬식의 서로 다른 얼굴이다.