『수학의 정석』 가장 첫 챕터는 내 기억으로 '집합과 명제'였다. 요즘 나오는 것도 그런가?
유명한 수학자, 철학자인 버트런드 러셀이 고안한 '러셀의 역설'은 참 흥미로운데 바로 집합론과 관련된다.
다 제끼고 그 내용을 설명하면 다음과 같다.
1. 자기 자신이 원소가 되는 집합과 그렇지 않은 집합?
'책들의 집합'이라고 한다면, 그 집합에 해당하는 원소는 전 세계, 혹은 우주의 모든 책이다. 수학의 정석도 마찬가지고, 성문영어, 플레이보이 잡지 등등 모든 책은 이 집합에 들어간다. 그럼 집합 자기 자신인 '책들의 집합'은 원소가 되는가? 그렇지 않다. '책들의 집합'은 '수학의 정석'과 다르다. 이러한 집합은 자기 자신이 원소가 되지 못하는 집합이다.
반면, '쥬스가 아닌 모든 것의 집합'이라는 집합을 생각해보면? 쥬스가 아닌 모든 것. 즉 모기약, 스피커, 책, 라면, 탄산음료 등등...쥬스가 아닌 모든 것이 원소가 된다. '한 인간의 인간성', '크로캅의 발차기 속도' 등 정의할 수 있는 개념이라면 모두 이 집합에 들어갈 수 있을 것이다. 그렇다면 '쥬스가 아닌 모든 것의 집합'이라는 집합 자신도 원소에 포함된다.
2. 좀 더 나아가서, '자기 자신을 원소로 갖지 않는 집합들을 모두 모은 집합'은?
질문부터 골아프다. 버트런드 러셀은 이런...말이 될 듯 말 듯한 괴이한 것을 추적해간 사나이였다. 이 집합은 상당히 골 아픈 상황에 봉착하게 된다. 이 집합에 속한 모든 집합들은 자기 자신이 원소가 되지 못한다. 즉 '책들의 집합'과 유사한 것들이 될 것이다.(그리고 그 외에도 무한히 다양한 형식의 집합들이 포함될 것이다.)
이제 이 집합은 자기 자신을 원소로 갖는가?하는 것이 문제다. 이 집합이 본질적으로 자기 자신을 원소로 갖느냐 마느냐 하는 것은 크게 문제가 되지 않는다.
쉽게 이해하기 위해, '자기 자신을 원소로 갖지 않는 집합'을 A라 하면 물음의 대상이 되는 것은 'A들의 집합'이 된다. A들의 집합은 자기 자신을 원소로 갖는 집합인가? 만일 그렇다면(그렇다고 가정하면) 이 집합은 원소인 A들과 같은 속성을 갖는다. 즉 자기 자신을 원소로 갖지 않는 속성을 지니는 것이다. 그런데 가정하기를 '자기 자신을 원소로 갖는다'고 가정했다. 따라서 가정과 결론이 모순된다.
반대로 이 집합이 자기 자신을 원소로 갖지 않는다고 가정하자. 그러면 이게 뭔가? 자기 자신을 원소로 갖지 않는 집합이므로, 'A'의 속성을 갖는다. 즉 자기 자신이 원소가 되어버린다. 이런 이상한 집합이..
이 역설을 '러셀의 역설'이라고 한다.
3. 이게 말장난 같은가?
이 복잡한 논의는 자칫 말장난 같이 들릴 수도 있다. 그러나 중요한 것은 논리의 결함 없이 사고를 진행했음에도 불구하고 역설적인 상황이 발생한다는 것이다. 즉 결함 없는 논리가 역설로 흐를 수 있다는 단적인 예가 된다. 이것은 하나의 사례에 지나지 않는 것으로, 수학적 추론이 아무리 논리적인들 특별한 경우 역설의 함정에 빠질 수 있다는 증거인 것이다. 이 역설을 접한 '프레게'라는 수학자는 자신이 세우려던 산술의 기초가 무너져버렸다고 고백했다.
수학에서 '증명'은 중요하다. 아니 수학은 '증명'없이는 어떠한 목소리도 낼 수 없다고 해야 할 것이다. 수학은 논리적 엄밀성으로 구축되는 학문이다. 그러나 그런 논리적 도출이 러셀의 역설에 의해 흔들린 것이나 다름 없다. 이 역설에서 러셀의 '가정(자기 자신을 원소로 갖지 않는 집합에 대한 가정)'은 논리적 체계 안에서 얼마든지 할 수 있어야 하는 것이며, 그 가정을 통한 논리 전개에는 하자가 없다. 그렇다면 결론은 완전해야 한다. 그렇지 않다면 '체계' 자체에 문제가 있음을 의심하지 않을 수 없다. 그리고 체계에 문제가 있다면, 수학의 논리적 엄밀성은 보장받을 수 없는 것이다.
러셀의 역설이 조용한 울림이었다면, 그 이후 괴델의 '불완전성 증명'은 하나의 폭발이었다. 괴델은 기어이 '완전하고 무모순인 체계는 있을 수 없다'는 것을 증명해낸다. 즉 어떠한 논리적 체계 안에서도 증명 불가능한 명제가 존재할 수 밖에 없음을 밝혔다.
