본문 바로가기
단편 강의

행렬식(Determinants)(1)

by 취미수학 2026. 4. 15.

 

1. 서론

 행렬식은 대학교 1학년 때 배우지만 사실 선형대수학, 미적분학, 리만기하학 등에서 반복해서 등장한다. 1학년 때는 아직 아는 것이 없어서 적당히 넘어가고 3-4학년 때는 예전에 알아서 잘 배웠겠거니 하고 적당히 넘어가느라 자세히 공부하는 사람이 드물다. 하지만 방금 말한 것처럼 행렬식은 굉장히 많이 쓰이고 중요한데 쓰이기 때문에 제대로 알지 못하면 각각의 공부 단계마다 "왠지 나와야 할 것 같긴 한데 왜 나오지?" 이런 의문이 꽃피게 된다. 그래서 이 글에서는 대부분의 교과서들과는 다른 방식으로 설명하려 한다.

 선형 연립방정식은 $m$개의 일차 방정식들과 $n$개의 미지수들로 구성된 방정식이다. 따라서 아무리 차수가 낮더라도 계산을 많이 해야 한다. 그래서 해가 없을 수도 있는 방정식을 무작정 풀기보다는 해가 있는지 없는지를 먼저 판단할 필요가 있다. 즉, 돌다리도 두들겨 보고 건너야 한다. 우선, $m \neq n$의 경우는 어려우므로 $m = n$인 경우에 한해서 알아보자.

 가장 간단한 경우인 $n=2$을 살펴보자.

 

$\begin{cases} a_{11}x+a_{12}y=b_{1} \\ a_{21}x+a_{22}y=b_{2} \end{cases}$

 

위 방정식의 해를 구하면

 

$\begin{cases} x=\dfrac{a_{22}b_1-a_{12}b_2}{a_{11}a_{22}-a_{12}a_{21}} \\ y= \dfrac{a_{11}b_2-a_{21}b_1}{a_{11}a_{22}-a_{12}a_{21}} \end{cases}$

 

여기서 해가 유일하게 존재하려면 분모가 $0$이 아니어야 한다. 즉, $ a_{11}a_{22}-a_{12}a_{21} \neq 0$ 이다.

 

그렇다면 임의의 $n$의 경우는 어떨까? 우선 $n=3$인 경우부터 알아보자.

 

2. $n=3$인 경우

 연립방정식은 다음과 같이 생겼다.

 

$\begin{cases} a_{11}x+a_{12}y+a_{13}z=b_{1} \\ a_{21}x+a_{22}y +a_{23}z =b_{2} \\ a_{31}x+a_{32}y+a_{33}z =b_{3} \end{cases}$

 

행렬식을 완벽하게 이해하고 싶다면 구체적인 계산과정을 직접 겪어 보는게 좋다. 계산하면서 계수들의 인덱스들이 어떤 패턴으로 나타나는지를 파악하고 인덱스들의 패턴을 이용해서 식을 정리하면 최종적으로 연립방정식의 해의 공식과 행렬식의 공식이 어떤 식으로 나올지 추측할 수 있기 때문이다. 필자는 B4용지 4장에 걸쳐 모두 계산해보았다. 이 부분을 체득하지 못하면 뒷부분을 아무리 읽어도 자세히 온전히 와닿기 힘들다. 따라서 계산과정의 일부를 접은 글로 넣어두었다. 하나의 항에 여러 인수들이 곱해질 때 인덱스 정리는 다음과 같이 했다.

 

1) 첫번째 인덱스가 작을수록 앞에

2) 첫번째 인덱스가 같다면 두번째 인덱스가 작을수록 앞에

더보기

각각의 방정식을 $x$의 계수로 나누면

 

$\begin{cases} x+\dfrac{ a_{12} }{ a_{11} }y+\dfrac{ a_{13} }{ a_{11} }z = \dfrac{ b_{1} }{ a_{11} } \\ x+\dfrac{a_{22}}{a_{21}}y +\dfrac{a_{23}}{a_{21}}z = \dfrac{b_{2}}{a_{21}} \\ x+\dfrac{a_{32}}{a_{31}}y+\dfrac{a_{33}}{a_{31}}z = \dfrac{b_{3}}{a_{31}} \end{cases}$

 

두번째와 세번째 방정식에서 첫번째 방정식을 빼면

 

$\begin{cases} x + \dfrac{ a_{12} }{ a_{11} }y + \dfrac{ a_{13} }{ a_{11} }z = \dfrac{ b_{1} }{ a_{11} } \\ \left( \dfrac{a_{22}}{a_{21}} - \dfrac{ a_{12} }{ a_{11} } \right) y + \left( \dfrac{ a_{23} }{ a_{21} } - \dfrac{ a_{13} }{ a_{11} } \right) z = \dfrac{ b_{2} }{ a_{21} } - \dfrac{ b_{1} }{ a_{11} } \\ \left( \dfrac{a_{32}}{a_{31}} - \dfrac{ a_{12} }{ a_{11} } \right) y + \left( \dfrac{ a_{33} }{ a_{31} } - \dfrac{ a_{13} }{ a_{11} } \right) z = \dfrac{ b_{3} }{ a_{31} } - \dfrac{ b_{1} }{ a_{11} } \end{cases}$

 

두번째와 세번째 방정식을 통분 후 양변에서 분모를 약분하면

 

$\begin{cases} x + \dfrac{ a_{12} }{ a_{11} }y + \dfrac{ a_{13} }{ a_{11} }z = \dfrac{ b_{1} }{ a_{11} } \\ \left( a_{11}a_{22}-a_{12}a_{21} \right) y + \left( a_{11}a_{23}-a_{13}a_{21} \right) z = a_{11}b_{2}-a_{21}b_{1} \\ \left( a_{11}a_{32}-a_{12}a_{31} \right) y + \left( a_{11}a_{33}-a_{13}a_{31} \right) z = a_{11}b_{3}-a_{31}b_{1} \\ \end{cases}$

 

두번째와 세번째 방정식에서 $y$의 계수로 양변을 나누면

 

$\begin{cases} x + \dfrac{ a_{12} }{ a_{11} }y + \dfrac{ a_{13} }{ a_{11} }z = \dfrac{ b_{1} }{ a_{11} } \\ y + \dfrac{ a_{11}a_{23}-a_{13}a_{21} }{ a_{11}a_{22}-a_{12}a_{21} } z = \dfrac{ a_{11}b_{2}-a_{21}b_{1} }{ a_{11}a_{22}-a_{12}a_{21} }\\ y + \dfrac{ a_{11}a_{33}-a_{13}a_{31} }{ a_{11}a_{32}-a_{12}a_{31} } z = \dfrac{ a_{11}b_{3}-a_{31}b_{1} }{ a_{11}a_{32}-a_{12}a_{31} } \\ \end{cases}$

 

세번째 방정식에서 두번째 방정식을 뺀 후 $z$를 구하면

 

$ z= \dfrac{ ( a_{11}b_{3} - a_{31}b_{1} )( a_{11}a_{22} - a_{12}a_{21} ) - ( a_{11}b_{2} - a_{21}b_{1} )( a_{11}a_{32} - a_{12}a_{31} ) }{ ( a_{11}a_{33} - a_{13}a_{31} )( a_{11}a_{22} - a_{12}a_{21} ) - ( a_{11}a_{23} - a_{13}a_{21} )( a_{11}a_{32} - a_{12}a_{31} } $

 

분자와 분모의 식들을 전개하면 상쇄되는 항들 발생 및 분자와 분모 공통인수 발생하므로 모두 정리 후 subindex들의 패턴을 보고 다음과 같이 정리할 수 있다.

 

$ z = \dfrac{ b_{1} ( a_{21}a_{32} - a_{22}a_{31} ) - b_{2} ( a_{11}a_{32} - a_{12}a_{31} ) + b_{3} ( a_{11}a_{22} - a_{12}a_{21} ) }{ a_{13} ( a_{21}a_{32} - a_{22}a_{31} ) - a_{23} ( a_{11}a_{32} - a_{12}a_{31} ) + a_{33} ( a_{11}a_{22} - a_{12}a_{21} ) } $

 

$z$를 두번째 방정식에 대입 후 $y$를 구하면

 

$ y = - \dfrac{ b_{1} ( a_{21}a_{33} - a_{23}a_{31} ) - b_{2} ( a_{11}a_{33} - a_{13}a_{31} ) + b_{3} ( a_{11}a_{23} - a_{13}a_{21} ) }{ a_{13} ( a_{21}a_{32} - a_{22}a_{31} ) - a_{23} ( a_{11}a_{32} - a_{12}a_{31} ) + a_{33} ( a_{11}a_{22} - a_{12}a_{21} ) } $

 

$y$와 $z$를 첫번째 방정식에 대입 후 $x$를 구하면

 

$ x = \dfrac{ b_{1} ( a_{22}a_{33} - a_{23}a_{32} ) - b_{2} ( a_{12}a_{33} - a_{13}a_{32} ) + b_{3} ( a_{12}a_{23} - a_{13}a_{22} ) }{ a_{13} ( a_{21}a_{32} - a_{22}a_{31} ) - a_{23} ( a_{11}a_{32} - a_{12}a_{31} ) + a_{33} ( a_{11}a_{22} - a_{12}a_{21} ) } $

완성된 $x, y, z$를 보면 분모에 공통적으로

 

$a_{13} ( a_{21}a_{32} - a_{22}a_{31} ) - a_{23} ( a_{11}a_{32} - a_{12}a_{31} ) + a_{33} ( a_{11}a_{22} - a_{12}a_{21} )$

 

이 나타나므로 이것이 $n=3$인 경우의 행렬식이라고 정의할 수 있다. 행렬식을 보면 연립방정식의 우변 속 상수들은 등장하지 않는다. 즉, 행렬식은 오직 계수의 영향만 받는다. 그리고 이 식을 보면 $a_{21}a_{32}-a_{22}a_{31}$과 같은 $n=2$인 경우의 행렬식과 같은 형태가 반복해서 나타나고 있고 심지어 분자에서도 나타나고 있다. 그래서 우리는 여기서 다음과 같은 추측을 할 수 있다.

 

추측1. 크기가 $n$인 연립방정식의 행렬식은 크키가 $n-1$인 연립방정식의 행렬식으로 나타낼 수 있다.

 

그리고 행렬식을 이루는 항들은 방정식의 계수들 중 3개씩 골라서 곱한 것들을 이용해서 적당히 더하거나 뺀 형태인데 인덱스들을 보면 곱해진 계수들 중에 같은 행 또는 같은 열에 속한 계수가 곱해진 경우는 없다. 부호는 각각의 계수의 위치에 다음과 같이 $+$ 또는 $-$를 배치해두면 우리가 구한 결과와 일치함을 알 수 있다.

 

$\begin{equation} \begin{bmatrix} + & - & + \\ - & + & - \\ + & - & + \\ \end{bmatrix} \end{equation}$

 

따라서 두번째 추측을 해볼 수 있다.

 

추측2. 행렬식은 서로 다른 행과 열에 위치한 계수들의 곱의 합 또는 차로 이루어져있다.

 

그리고 $x, y, z$의 분자들을 보면 또 하나의 규칙을 발견할 수 있다.

 

$ x = \dfrac{ b_{1} ( a_{22}a_{33} - a_{23}a_{32} ) - b_{2} ( a_{12}a_{33} - a_{13}a_{32} ) + b_{3} ( a_{12}a_{23} - a_{13}a_{22} ) }{ a_{13} ( a_{21}a_{32} - a_{22}a_{31} ) - a_{23} ( a_{11}a_{32} - a_{12}a_{31} ) + a_{33} ( a_{11}a_{22} - a_{12}a_{21} ) } $

 

분자를 보면 분모(=행렬식)과 매우 유사하다. 연립방정식에서 $x$들의 계수들을 순서대로 $b_1, b_2, b_3$로 바꾼 후 행렬식을 계산한 것과 일치하는데, 이를 통해 하나의 통일된 계산법도 추측할 수 있다. 이 방법을 Cramer's rule이라 한다.

 

그리고 크기가 $n-1$인 연립방정식의 행렬식들을 반복해서 사용하므로 애초에 원래 방정식의 계수들을 이용해서 크기가 $n-1$인 경우의 행렬식 값들을 모두 모아둔 행렬을 미리 만들어 두면 계산이 편하다. 이 행렬을 Adjucate matrix라고 한다.(일종의 Cheat sheet) 그리고 행렬식이 만들어 지는 패턴을 이용해서 Cofactor expansion이라는 것도 할 수 있다. 즉, 패턴을 어떻게 활용하느냐에 따라 Cramer's rule, Adjucate matrix, Cofactor expansion으로 방법이 나뉠 뿐 이 셋은 모두 하나의 원리에서 나온 것이다.

 

3. 임의의 $n$의 경우

 지금까지 우리가 알아낸 것들은 꽤 그럴싸하다. 하지만 수학은 귀납적으로 추론하는 것이 아니다. $n=3$이 아닐 때 어쩌면 우리가 위에서 알아낸 규칙들이 성립하지 않을 수도 있지 않을까? 실제로 수학에서는 규모가 커지면서 기존에 성립하던 것들이 불성립하는 경우가 꽤 많기 때문에 방심할 수 없다.

 하지만 곰곰히 생각해보면 선형 연립방정식은 $n$이 아무리 커져도 계산하는 방식은 변하지 않는다. 서로 달라 보이는 연립방정식이더라도 적당한 소거법으로 일치시킬 수도 있기 때문에 지금까지 우리가 알아낸 규칙들이 임의의 $n$에서도 성립할 수 있지 않을까?하는 생각이 든다. 그래서 수학자들은 이것을 다음과 같은 방식으로 증명했다.

 

1) 찾아낸 규칙들을 일반화

2) 위 규칙들을 만족하는 scalar-valued function은 unique함을 증명

 

편의를 위해 각각의 행을 $v_{1}, v_{2}, v_{3}$라 하자. 즉, 

 

$\begin{equation} \begin{bmatrix}  a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{bmatrix} = \begin{bmatrix} -v_{1}- \\ -v_{2}- \\ -v_{3}- \end{bmatrix} \end{equation}$

 

이고 행렬식을 임시로 $f$라 하자. 규칙들을 최대한 찾아서 정리해보자. 쉬운 것부터 보면,

 

① 계수가 달라도 해가 같은 연립방정식은 소거법으로 계수를 일치시킬 수 있으므로

 

$f(v_1, v_2, \cdots, v_i, \cdots, v_j + kv_i, \cdots, v_n) = f(v_1, v_2, \cdots, v_i \cdots, v_j, \cdots, v_n) $

 

 다중선형성(Multilinear)

 

② 두 개의 방정식의 위치가 바뀌면 해의 부호가 바뀌므로

 

$f(v_1, v_2, \cdots, v_i, \cdots, v_j, \cdots, v_n) = - f(v_1, v_2, \cdots, v_j \cdots, v_i, \cdots, v_n) $

 

 교대성(Alternative)

 

③ 단위행렬의 행렬식 값은 $1$

 정규성(Regular)

 

이 세 가지 규칙이 연립방정식을 풀 때, 방정식의 크기와 상관없이 성립하는 규칙이다. 이 규칙을 만족하는 함수는 오직 하나뿐임을 증명할 수 있다. 증명의 아이디어는 다음과 같다.

 

1) 각각의 행은 표준기저로 분해하여 나타낸다.

2) 다중선형성에 의해 여러 개의 $f$들의 합으로 분해된다

3) 교대성에 의해 동일한 기적벡터를 갖고 있는 $f$는 $0$이 된다.

4) 교대성을 이용해서 기저벡터들의 위치를 순서대로 나열하면 부호는 위치를 바꾼 횟수를 $k$라 할 때, $(-1)^k$가 된다.

5) 정규성에 의해 각각의 $f$들은 $ \operatorname{sgn}(\sigma) a_{i_1 1} a_{i_2 2} \cdots a_{i_n n} $ 이 된다.

(단, $\sigma$는 기저벡터들의 위치를 바꾸는 방법(permutation)을 의미하는 기호이다)

 

4. 맺음말

 $n=4$인 경우의 행렬식을 구하려고 하면 무려 $24$개의 항으로 이루어진 식을 얻게 된다. 실제로 Vandermonde는 $n=4$인 경우와 같은 복잡한 경우에서도 직접 계산으로 규칙을 찾으려 했다. 하지만 아무리 뛰어난 수학자더라도 $n=10$ 이런 경우를 하기는 힘들다. 그래서 수학자들은 행렬식의 정의를 위에서 말한 세가지 성질을 갖는 함수라고 정의해버림으로서 행렬식에 대한 논의를 끝냈다.  이처럼 어떤 수학적 대상을 정의하는 방식이 '발견'보다는 '약속'에 의하는 방식을 공리적 접근(Axiomatic approach)라 한다. 수학을 처음 배우는 사람에게 공리적 접근은 매우 난해하지만 공리적 접근을 하는 이유는 (왜 그렇게 했는지 궁금해하지만 않는다면) 그것이 편하기 때문이다.

 다음 시간에는 행렬식이 갖는 기하학적 의미들을 다룰 것이다. 행렬식은 분명 대수적인 개념이다. 방정식이 해를 어떤 식으로 갖는지 알려주는 '판별자' 역할을 하는 것인데, 수학자 Jaobi같은 사람들이 미적분학을 연구하면서 행렬식이 반복해서 등장하는 것을 발견하여 행렬식의 기하학적인 의미를 발견하게 된다.