AI가 수학 문제를 푸는 시대, 인간 수학자의 역할은?

ChatGPT가 1,000개 에르되시 문제 중 일부를 해결하며 수학계에 변화의 바람. 테렌스 타오 교수가 말하는 AI 수학의 현재와 미래.

세계 최고의 수학자가 인정한 AI의 수학 실력. 테렌스 타오 UCLA 교수는 최근 "AI가 인간 수학자와 협업할 수 있는 수준에 도달했다"고 평가했다. 그가 인정한 것은 ChatGPT가 헝가리 수학자 파울 에르되시가 남긴 1,000여 개 미해결 수학 문제 중 일부를 실제로 해결한 것이다.

에르되시 문제, AI가 해결하다

지난 몇 달간 여러 연구자들이 같은 주장을 내놓기 시작했다. 생성형 AI 도구를 사용해 이전에 풀리지 않았던 수학 문제를 해결했다는 것이다. OpenAI의 그렉 브록맨 사장은 지난 1월 X(옛 트위터)에 "GPT-5.2 Pro가 또 다른 에르되시 문제를 해결했다"며 "수학과 과학 발전에 있어 놀라운 해가 될 것"이라고 선언했다.

에르되시 문제는 20세기 가장 영향력 있는 수학자 중 한 명인 파울 에르되시가 제시한 1,000여 개의 수학 문제들이다. 이 문제들은 난이도가 천차만별인데, 일부는 상당히 어려운 반면 일부는 상대적으로 쉬운 편이다.

흥미롭게도 이러한 AI의 성과를 검증하고 있는 인물이 바로 테렌스 타오다. 현재 살아있는 세계 최고의 수학자로 평가받는 그의 인정은 생성형 AI의 가장 큰 약속, 즉 인간 지식과 문명의 경계를 넓히는 것에 대한 정당성을 부여하는 것처럼 보인다.

"헬리콥터로 목적지에 도착하는 격"

하지만 타오 교수는 생각보다 신중한 평가를 내놓는다. 그는 AI가 해결한 문제들을 "값싼 승리"라고 표현했다. "AI는 1,000개 문제를 체계적으로 훑어보며 그 중 가장 쉬운 12개 정도를 골라 작업하고 있다"며 "이는 인간의 방식과는 매우 다르다"고 설명했다.

타오 교수는 AI 증명의 한계를 등산에 비유해 설명한다. "이런 문제들은 하이킹으로 가야 하는 먼 목적지 같다. 과거에는 여행을 해야 했고, 다른 사람들이 따라올 수 있는 길잡이를 남기고 지도를 만들 수 있었다. 하지만 AI 도구는 헬리콥터로 바로 목적지에 데려다주는 격이다. 여행 자체의 모든 이익을 놓치게 된다."

인간 수학자가 문제를 해결할 때는 성공 여부와 관계없이 다른 연구자들이 활용할 수 있는 통찰을 남긴다. 반면 AI 기반 증명은 이런 부가적 가치를 제공하지 못한다는 것이 그의 지적이다.

수학 연구의 패러다임 변화

그럼에도 타오 교수는 AI가 수학에 가져올 변화에 대해 긍정적이다. 특히 연구 규모의 변화를 주목한다. "18세기에 희귀 질병을 연구한다면 한 명의 환자를 대상으로 모든 증상을 기록하고 세밀한 메모를 남겼을 것이다. 하지만 21세기에는 1,000명을 대상으로 임상시험을 하고 통계를 내어 훨씬 정확한 정보를 얻을 수 있다."

수학은 여전히 사례 연구 수준에 머물러 있다. 한 논문에서 한두 개 문제를 선택해 집중적으로 연구하는 것이 일반적인 방식이다. 하지만 AI 도구는 "인구 조사" 방식의 연구를 가능하게 한다는 것이다.

AI는 또한 인간이 기피하는 지루한 계산 작업을 기꺼이 수행한다. "과거에는 지루한 유형의 수학을 피하기 위해 영리한 방법을 찾았지만, AI는 그런 지루한 계산을 기꺼이 해낸다"고 타오는 설명한다.

신뢰할 수 있는 공동 저자가 될 수 있을까

타오 교수는 2023년 마이크로소프트를 위해 쓴 글에서 2026년까지 AI가 "신뢰할 수 있는 공동 저자" 수준에 도달할 것이라고 예측했다. 당시 이 예측은 "너무 야심적"이거나 "너무 비관적"이라는 엇갈린 반응을 받았지만, 그는 현재 거의 예상대로 진행되고 있다고 평가한다.

"우리는 기본적으로 AI가 후배 인간 공동 저자, 특히 기초 작업을 기꺼이 해주는 사람과 동등한 수준의 기여를 하는 것을 보고 있다"고 그는 말한다.

하지만 개선이 필요한 부분도 있다. 가장 큰 문제는 AI가 자신의 답변에 대한 신뢰도를 정확히 표시하지 못한다는 점이다. "인간은 자신이 확신하는지 아닌지를 표현하는데, 이는 매우 중요한 정보다. 하지만 AI 도구들은 자신의 신뢰도를 정확히 평가하지 못한다."

또한 많은 AI 회사들이 "버튼 하나만 누르면 모든 것이 해결되는" 완전 자동화 작업 흐름에 집착하고 있다고 비판한다. "어려운 문제에서는 인간과 AI 간의 대화가 정말 중요하다. 하지만 AI 회사들은 이를 제대로 지원하지 않고 있다."