틀리지 않는 법 - 수학적 사고의 힘

틀리지 않는 법 -  조던 앨런버그 지음, 김명남 옮김/열린책들

이 책이 다루는 수학

엘렌버그는 이 책에서 수학을 구조적 측면에서 단순과 복잡으로, 의미적 측면에서 심오와 얕음으로 나눔으로써 크게 네 가지로 분류한다. 1+2=3 같은 기본적인 산술적 사실들은 단순하고 얕다. 복잡/얕음 칸으로 옮겨 가면, 열 자릿수 숫자 두 개를 곱하는 문제, 복잡한 정적분을 계산하는 문제, 대학원에서 두어 해 공부한 사람이라면 컨덕터 2377의 모듈러 형식에서 프로베니우스 대각합을 구하는 문제 등이 있다. 이런 문제는 당연히 손으로 풀기가 성가시거나 불가능한 경우의 중간쯤에 해당할 테고 모듈러 형식의 경우에는 뭘 하라는 건지 이해하는 데만도 상당한 공부가 필요하다. 하지만 이런 답들을 안다고 해서 세상에 대한 이해가 딱히 풍성해지진 않을 것이다. 복잡/심오 칸은 전업 수학자들이 대부분의 시간을 쏟는 곳이다. 여기에는 리만 가설, 페르마의 마지막 정리, 푸앵카레 추측, P 대 NP, 괴델의 정리…… 등의 유명한 정리들과 추측들이 살고 있다. 이런 정리들은 모두 심오한 의미, 근본적 중요성, 압도적 아름다움, 잔인하리만치 까다로운 세부를 거느린 개념들과 관련된 문제이며, 제각각 책 한 권의 주인공이 될 만하다. 그러나 이 책이 다루는 수학은 그런 것이 아니다. 이 책은 단순하면서도 심오한 칸을 다룬다. 이곳의 수학 개념들은 대수까지 진도가 나가기 전에 수학 공부를 그만두었든 그보다 더 많이 배웠든 누구나 직접적으로 유익하게 관여할 수 있는 문제들이다. 그리고 이 개념들은 우리가 평소 수학이라고 여기는 분야를 넘어서까지 폭넓게 적용될 수 있는 원칙들이다. 

이러한 분류에 기반해서 이 책은 <선형성>, <추론>, <회귀>, <기대>, <존재>라는 큰 주제들을 다룬다. 세부적으로 들어가면, 다음과 같은 질문들에 대한 답을 들을 수 있다. 평균으로의 회귀란 정확히 무슨 뜻일까? 흔히들 상관관계는 인과 관계가 아니라고 말하는데, 그렇다면 상관관계는 정확히 어떻게 정의될까? 학술지들이 논문을 실어줄 때 어떤 기준에 따라서 연구의 유의미성을 판가름할까? 만일 그 기준에 미치지 못한 연구 결과라면, 그것은 곧 그 결과가 틀렸다는 뜻일까? 거꾸로 그 기준을 통과한 연구 결과라면, 그것은 그 결과가 무조건 옳다는 뜻일까? 노벨 경제학상을 받은 조지 스티글러는 <당신이 비행기를 한 번도 놓친 적이 없다면 너무 많은 시간을 공항에서 낭비하는 것이다>라고 말했다는데, 그게 대체 무슨 소리일까? 수학자들은 늘 입을 모아 복권은 돈 낭비라고 말하는데, 과연 그럴까?

상관관계, 선형 회귀, 기대값, 사전 확률과 사후 확률, 귀무가설 유의성 검정…. 엘렌버그는 이런 개념들이 오늘날 얼마나 광범위하게 사용되는지를 농구, 야구, 복권, 논문 심사, 흡연과 폐암의 관계 등의 사례를 들어 설명한다. 이런 개념들 없이는 현대의 뉴스, 스포츠 통계, 정치 사회적 의사 결정 과정을 손톱만큼도 이해할 수 없다고 지적한다. 또한 이런 개념들을 정확히 이해하는 순간, 매스 미디어나 정치권에서 유통되는 정보에 생판 틀린 소리나 작성자도 미처 몰랐던 맹점이 얼마나 많은지도 깨닫게 될 것이라고 말한다. 그러니 이 책은 교묘한 수학적 언설에 속아 넘어가기 싫은 보통 사람들을 위한 책인 동시에 무엇보다도 자신이 휘두르는 수학 도구들의 맹점에 스스로 속아 넘어가지 말아야 할 저널리스트, 정치인, 마케팅 담당자, 교사 등이 꼭 읽어야 할 책이다.

수학은 다른 수단을 동원한 <상식의 연장>

우리는 흔히 수학을 천재들의 전유물로 생각하기 쉽다. 엘렌버그는 이를 분명히 부정한다. 물론 수학계에는 천재들이 많다. 수학 영재였던 엘렌버그 자신이나 필즈상을 받은 테리 타오 같은 사람이 천재가 아니고 무엇이겠는가. 그러나 엘렌버그가 썼듯이 거울을 보면서 <인정하자, 나는 가우스보다 똑똑해>라고 중얼거릴 사람은 세상에 한 명도 없다. 그런데도 가우스에 비하면 전부 바보인 사람들이 지난 백 년 동안 힘을 합쳐 노력함으로써 역사상 가장 풍성한 수학 지식을 일구어 낸 것이다.

그런 측면에서 엘렌버그는 수학을 <노력>의 학문이라고 말한다. 하나의 문제에 관심과 에너지를 집중시켜 그 문제를 체계적으로 고민하고 또 고민하며 틈이 있는 듯한 지점은 모조리 밀어 보는 것, 더구나 겉으로는 뚜렷한 발전의 신호가 보이지 않는데도 계속 그렇게 하는 것은 아무나 가진 기술이 아니다. 심리학자들은 이런 능력을 <기개>라고 부르는데, 기개 없이는 수학을 할 수 없다. 반대로 이런 자세를 가진 사람이라면 누구나 수학을 할 수 있다. 즉, 그에 따르면 수학은 <상식>일 수 있다. 우리는 상식적인 산술에서 출발해서 현대 수학의 난해한 이론들까지도 어느 정도는 나아갈 수 있다. 이 책이 보이고자 하는 바가 바로 그것이다.

상식으로서의 수학적 사고방식, 그 효용과 매력 나아가 함정까지 알려 주겠다는 이 책의 야심 찬 목표는 얼마나 성공했을까? 결론적으로 말하자면, 꽤 성공했다. 여느 수학 대중서들에 비해 이 책이 특별히 돋보이는 점은 저자가 손쉬운 단순화의 유혹에 굴복하지 않았다는 것이다. 가령 현대 확률 이론의 대세라고 할 수 있는 베이즈 추론을 누구나 단박에 이해하도록 설명하는 일은 불가능하다. 수학의 어떤 영역은, 특히 인간의 보잘것없는 인지력을 벗어나는 확률과 통계의 이론은, 직관적으로 이해하기 어렵다. 따라서 설명도 무턱대고 쉬울 수가 없다. 이 책은 그 어려움을 회피하거나 가장하지 않는다는 점에서 정직하고, 그 어려운 이야기를 누구든 집중만 하면 제법 따라갈 수 있도록 설명했다는 점에서 성공적이다.

이 책에서 가령 우리는 한 페이지만에 미적분을 배울 수 있을 것이고, 역시 한 페이지만에 대수와 로그를 이해할 수 있을 것이다. 수학 시험에서 부분 점수를 받는 방법을 알 수 있을 것이고, <뷔퐁의 바늘>을 비롯하여 눈이 휘둥그레지게 교묘하면서도 아름다운 증명들도 몇 개 만날 것이다. 사영 기하학에서 정보 이론으로 나아갔다가 뜬금없이 오렌지를 최대한 빽빽하게 쌓는 문제, 복권 숫자를 겹치지 않게 고르는 문제로 튀어서 결국 기하학으로 되돌아오는 13장의 구성은 순수 수학과 현실이 영향을 주고받으며 발전하는 패턴을 잘 보여 준 사례로서, 마치 장대한 건축물을 보는 듯하다. 저자는 <수학이 얼마나 멋진지를 세상에 길게 길게 외치고 싶다>는 집필 의도를 현명한 편집자들이 한껏 다듬은 결과물이 이 책이라고 말했는데, 끝까지 읽은 독자는 분명 편집자들이 이보다 더 짧게 줄이지 않아서 다행이라고 생각하게 될 것이다.