힐베르트 문제

1900년 프랑스에서 개최된 제2차 국제수학자대회(ICM, International Congress of Mathematics)에서 현대 수학의 아버지라 불리는 독일의 다비트 힐베르트(David Hilbert, 1862~1943)는 20세기 수학계가 풀어야 할 23개의 문제를 제시하였다.

이를 ‘힐베르트 문제(Hilbert’s problem)’라고 하는데, 20세기 전반부의 수학사는 이 문제들을 해결하는 과정이라고 할 수 있을 정도로 힐베르트 문제는 수학 발전의 견인차 역할을 했다.

힐베르트의 23개 문제 중 구를 쌓는 방법과 관련된 케플러의 추측을 포함하여 10개는 완전히 증명되었고, 7개는 일부만 해결되었으며, 2개는 미해결 상태이고, 4개는 문제가 불명확한 것으로 판정되었다.

밀레니엄 문제

힐베르트 문제가 제기된 후 정확하게 100년 후 문제당 100만 달러(약 11억 원)의 상금이 걸린 7개의 ‘밀레니엄 문제(millenium problem)’가 등장했다.

밀레니엄 문제를 선정하여 발표하고 재정적으로 지원하는 곳은 클레이 수학연구소(CMI)로, 미국의 억만장자 랜던 클레이(Landon T. Clay)가 수학 연구를 진흥시키기 위해 세운 연구소이다.

밀레니엄 문제로 선정된 7개의 문제는 리만 가설, 푸앵카레 추측, P-NP 문제, 호지 추측, 양-밀스 질량 간극 가설, 내비어-스톡스 방정식, 버츠와 스위너톤-다이어 추측이다.

앞에서 설명한 리만 가설은 힐베르트의 문제 중의 하나였다가 밀레니엄 문제까지 연결된 유일한 경우로, 100년의 시차를 두고 공표된 세기의 난제에 공통으로 포함되어 있다.

일본의 소설이자 영화인 〈용의자 X의 헌신〉, 그리고 이 영화를 한국에서 리메이크한 영화 〈용의자 X〉에서 극의 전개를 이끄는 핵심적인 모티브는 수학 천재, 형사, 물리학자 간의 두뇌싸움이다.

그런 만큼 영화에는 리만 가설과 P-NP 문제, 그리고 4색 문제 등 묵직한 수학 내용이 등장한다.

따라서 수학 문제는 이 영화를 감상하는 중요한 관전 포인트라고 할 수 있다.

푸앵카레 추측

‘푸앵카레 추측(Poincaré conjecture)’은 프랑스의 수학자 앙리 푸앵카레(Henri Poincaré, 1854~1912)가 제기한 위상수학(topology) 문제이다.

위상수학은 도형과 공간의 연결성, 개폐성과 같이 위상적(位相的) 특성을 연구하는 분야로, 추상성을 특징으로 하는 수학 중에서도 가장 추상적인 주제를 다룬다.

푸앵카레 추측은 위상수학의 문제인 만큼 이해하기 쉽지 않지만, 그 내용은 ‘닫힌 3차원 공간에서 모든 폐곡선이 수축되어 하나의 점이 될 수 있다면 이 공간은 반드시 구(球)로 변형될 수 있다’로 진술될 수 있다.

푸앵카레 추측은 고차원 공간을 이해하고 우주의 모양을 추론하여 우주의 신비를 푸는 데 도움이 되는 매력적인 문제이지만, 100여 년 동안 난공불락의 문제로 남아 있었다.

그러다가 2005년 러시아의 수학자 그리고리 페렐만(Grigori Perelman)이 이를 증명해냄으로써 7개의 밀레니엄 문제 중 최초로 증명된 문제가 되었다.

페렐만은 16세에 국제수학올림피아드에서 만점을 받으며 수학 천재로 등장하였고, 1980년대 말 미국으로 유학하여 1995년에는 스탠퍼드대학교의 교수직을 제안받았지만 거절한 채 러시아로 돌아갔다.

그 후 페렐만은 7년의 고독한 연구 끝에 2002년 푸앵카레 추측에 대한 증명을 발표하였다.

국제수학자연맹이 3년간의 분석 끝에 증명을 인정하였으며, 그 공로로 페렐만은 2006년 필즈상 수상자, 2010년 밀레니엄상의 수상자로 선정되었고 학자로서 최고 영예인 러시아 과학아카데미 정회원 자격도 받았다.

그러나 페렐만은 자신의 증명이 인정되었으면 그것으로 충분하다고 하면서 일체의 상과 상금, 정회원 자격을 모두 거부한 채 상트페테르부르크 외곽의 작은 아파트에서 노모의 연금으로 살아가고 있다.

부와 명예를 초월하여 은둔 생활을 하면서 수학 세계 자체에 몰입하고 연구에 매진하는 페렐만은 진정한 수학자로 기억될 것이다.

P – NP 문제

밀레니엄 문제 중 ‘P-NP 문제(P versus NP problem)’는 그 내용을 이해하기가 비교적 쉽다.

P 문제는 답을 구하기 쉬운 문제이고, NP 문제는 답이 주어지면 맞는지 확인하기는 쉽지만 답을 구하기는 어려운 문제를 말한다.

예를 들어 400명 중에서 100명만 파티에 초청하려 하는데, 주최 측에서 참석자들 사이의 관계를 고려하여 함께 초청하면 안 될 사람들의 목록을 주었다고 하자.

참석자들의 관계를 고려하면서 400명 중 100명을 뽑는 경우들을 찾는 것은 쉽지 않다.

그러나 참석자 목록이 주어지면 조건에 맞게 선정되었는지는 쉽게 확인할 수 있다.

이런 문제가 NP 문제이다.

다소 전문적인 표현을 쓰면 P(Polynomial time) 문제는 해결하는 데 걸리는 시간함수가 다항함수 이하로 정해지는 경우이고, NP(Non-deterministic Polynomial time) 문제는 시간함수가 다항함수로 결정되지 않는 경우를 말한다.

P-NP 문제의 요지는 NP 문제가 결국 P 문제로 환원된다는 것이다.

페르마의 마지막 정리

수학의 미해결 문제로 가장 널리 알려진 것은 ‘페르마의 마지막 정리(Fermat’s last theorem)’이다.

수학자 페르마가 1637년 제기한 페르마의 마지막 정리는 무려 358년간이나 미해결 문제로 남아 있다가 1995년 앤드루 와일즈(Andrew Wiles)에 의해 증명되었다.

페르마의 마지막 정리는 n이 2보다 큰 자연수일 때 aⁿ+bⁿ=cⁿ을 만족하는 세 자연수 a, b, c가 존재하지 않는다는 것이다.

페르마는 자신이 증명을 알고 있다고 생각하고, 디오판투스의 『산술(Arithmetica)』 문제 II-8 아래에 다음과 같은 주석을 남겼다.

Cubum autem in duos cubos, aut quad

ratoquadratum in duos quadratoquad

ratos, et generaliter nullam in infinitu

m ultra quadratum potestatem in duo

s eiusdem nominis fas est dividere cui

us rei demonstrationem mirabilem sa

ne detexi. Hanc marginis exiguitas no

n caperet.

어떤 세제곱수를 두 세제곱수의 합으로 나타낼 수 없으며, 이를 일반화하면 세제곱 이상의 거듭제곱에 대해서도 이러한 성질이 성립한다. 나는 정말 놀라운 증명 방법을 발견했지만, 여백이 좁아서 적지 못한다.

위의 주석으로 유명세를 타게 된 페르마의 마지막 정리는 기원전부터 알려져 있던 피타고라스의 정리에서 차수를 높인 것이다.

다시 말해 피타고라스의 정리는 직각삼각형의 변의 길이 a, b, c에서 a², b², c²과 같이 제곱의 관계가 성립한다는 것이고, 페르마의 마지막 정리는 그보다 높은 차수인 세제곱 a³, b³, c³, 네제곱 a⁴, b⁴, c⁴ 등에서 이를 만족시키는 자연수가 존재하지 않는다는 것이므로 차이는 있지만, 차수를 제외하면 식의 형태는 동일하다.

수학 문제의 증명은 깜깜한 방에 들어가는 것

페르마의 마지막 정리를 증명하기 위한 와일즈의 도전을 담은 BBC 다큐멘터리는 와일즈의 독백으로 시작한다.

수학을 한다는 것을 비유하자면 어두운 저택에 들어가는 것과 같습니다. 첫 번째 방, 아주 깜깜한 방에 들어가면 아무것도 보이지 않아 비틀거리고 가구의 여기저기에 부딪히곤 하죠. 그러나 점차 가구들이 어디에 있는지 알아가게 됩니다. 그러다가 6개월 정도의 시간이 지나면 전기 스위치의 위치도 찾게 되죠. 그러고 나서 불을 켰을 때 환해지면서 모든 것이 형태를 드러내게 됩니다.

와일즈는 페르마의 마지막 정리를 증명하기 위해 7년 동안 두문불출하며 증명에만 몰두했다.

1993년 페르마의 마지막 정리의 증명을 발표했지만 약간의 결함이 발견되어 다시 2년 동안 연구를 연장하여 보완함으로써 증명의 완결판을 내놓게 된다.

위의 독백에는 증명을 하기 위해 기나긴 시간 동안 자신과 싸우며 경험한 좌절과 환희가 녹아 있다.

볼프스켈상을 수상한 앤드루 와일즈

난공불락의 문제로 악명 높은 페르마의 마지막 정리는 볼프스켈상으로 더욱 대중적인 관심을 받았다.

괴팅겐 왕립과학원은 1908년 파울 볼프스켈(Paul Wolfskehl)의 유지를 받들어 2007년 9월 13일까지 페르마의 마지막 정리를 증명한 사람에게 10만 마르크의 상금을 주는 볼프스켈상을 제정했는데, 이 기간 내에 증명을 해낸 와일즈는 1997년 이 상을 수상했다.

볼프스켈상이 만들어진 후 명예와 상금을 거머쥐려는 수많은 아마추어 수학자들은 페르마의 마지막 정리에 대한 증명을 괴팅겐 왕립과학원으로 보냈다.

볼프스켈상이 제정된 후 지금까지 수천 개의 잘못된 증명이 접수되었으며, 현재까지도 페르마의 마지막 정리에 대한 새로운 증명을 발견했다고 주장하는 아마추어 수학자들이 심심치 않게 나온다.

페르마의 마지막 정리는 수학 역사상 가장 빈번하게 틀린 증명을 양산해낸 정리로 기록되고 있다.

타원곡선과 페르마의 마지막 정리

와일즈가 페르마의 마지막 정리를 증명할 때 이용한 것은 타원곡선의 성질이다.

페르마의 마지막 정리가 성립하지 않는다고 가정하자.

즉, 세 자연수 a, b, c가 x³+y³=z³을 만족하는 해라면, 타원곡선 y²=x(x–a³)(x+b³)을 만들 수 있다.

그런데 이 타원곡선의 두 근의 절댓값 a³, b³을 더해서 세제곱수가 되면 이 타원곡선은 모듈러 형식(modular form, 수학에서 특정한 종류의 함수 방정식과 증가 조건을 만족하는 해석함수)으로 전환될 수 없고, 타니야마-시무라 추측(Taniyama-Shimura conjecture)에 의해 이러한 타원곡선은 존재할 수 없게 된다.

따라서 x³+y³=z³을 만족하는 자연수 해는 존재하지 않아야 한다.

페르마의 마지막 정리는 정수론의 문제이지만 타원이라는 기하학적 대상을 통해 증명된다.

이처럼 페르마의 마지막 정리에 대한 와일즈의 증명은 수학의 이질적인 분야를 엮어내는 대통합의 증명이라고 할 수 있다.

수학자들의 등정

1900년 발표된 힐베르트 문제가 20세기 수학 연구의 이정표가 되었듯이, 21세기를 여는 시점에 발표된 밀레니엄 문제는 현재의 수학자들이 연구를 통해 정복해야 할 산이라고 할 수 있다.

어떤 수학자는 산 입구의 등반로를 마련할 것이고, 그 덕분에 그 다음 수학자는 조금 높은 곳까지 올라갈 것이며, 그런 노력들이 누적되어 결국 누군가는 정상에 도달하게 될 것이다.

목표로 삼아 등정해야 할 거대한 산봉우리의 존재는 수학자에게 지적 희열과 도전감을 주는 연구의 촉매 역할을 할 것이다.