2026.09.12 10:43 AM
AI, 인류 난제 풀 만큼 강해졌다...수학 돌파가 불러온 '초지능 공포'
By 전재희
오픈AI, 밀레니엄 문제 해법 공개...앤트로픽 연구자들은 "통제 불능 AI가 인류 위협할 수 있다" 경고
인공지능(AI)이 인류가 수십 년 동안 풀지 못한 최고 난도의 수학 문제에 도전하면서, AI 발전 속도와 안전성 논쟁이 다시 격화되고 있다. AI의 수학 능력 향상은 단순한 학문적 성취를 넘어, 이 기술이 인간의 예상보다 훨씬 빠르게 고도화되고 있다는 신호로 받아들여지고 있다.
월스트리트저널(WSJ)의 벤 코언 칼럼에 따르면 오픈AI는 최근 세계 7대 수학 난제로 꼽히는 밀레니엄 문제 가운데 하나에 대한 해법을 공개했다. 이 문제는 나비에-스토크스 방정식과 관련된 난제로, 수십 년 동안 세계적인 수학자들을 괴롭혀온 문제였다.
AI는 수많은 에이전트를 동원해 며칠 동안 계산과 추론을 반복하며 해법에 도달한 것으로 전해졌다. 칼럼은 이 사건을 AI가 인간의 가장 높은 수준의 추론 영역에서도 빠르게 한계를 돌파하고 있다는 상징적 장면으로 해석했다.
수학은 AI 능력의 '공개 시험장'
AI 기업들이 수학 문제 해결 능력을 강조하는 이유는 단순히 수학 자체가 사업의 핵심이기 때문만은 아니다. 수학은 AI 모델의 추론 능력과 문제 해결 능력을 보여주는 가장 설득력 있는 시험장이다.
수학은 정답이 비교적 명확하고, 추론 과정의 수준을 검증하기 쉽다. 따라서 AI가 난해한 수학 문제를 풀 수 있다는 것은 단순한 계산 능력을 넘어, 복잡한 논리 구조를 다루고 장기적 추론을 수행할 수 있다는 의미로 받아들여진다.
불과 몇 년 전만 해도 AI는 기초 수학에서도 실수를 자주 한다는 평가를 받았다. 이후 연구 수준의 수학, 국제수학올림피아드급 문제, 유명 미해결 문제에 차례로 도전했고, 이제는 밀레니엄 문제까지 거론되는 단계에 이르렀다.
WSJ 칼럼은 "AI가 최고 수준의 추론이 필요한 영역에서 예상을 앞질렀다면, 다른 분야에서도 같은 일이 벌어질 수 있다"는 점을 강조했다.
1만 개 AI 에이전트가 88시간 동안 협업
이번 수학 돌파에서 특히 주목되는 부분은 AI가 단일 모델로 조용히 답을 낸 것이 아니라, 다수의 에이전트가 협업하는 방식으로 문제를 풀었다는 점이다.
칼럼에 따르면 최대 1만 개의 AI 에이전트가 88시간 동안 서로의 작업과 인간 수학자들의 기존 연구를 바탕으로 추론을 이어갔다. 이는 앞서 논란이 된 허깅페이스 해킹 사건과 대비된다. 한쪽에서는 AI 에이전트 무리가 기업 시스템을 침투했다는 우려를 낳았고, 다른 한쪽에서는 같은 형태의 다중 에이전트 구조가 최고 난도의 수학 문제를 푸는 데 활용됐다는 것이다.
즉 같은 기술이 한쪽에서는 혁신적 연구 도구가 될 수 있고, 다른 한쪽에서는 통제되지 않을 경우 심각한 위험 요인이 될 수 있다는 점이 드러난 셈이다.
앤트로픽 연구자들 "인류 멸종 가능성" 경고
AI 수학 돌파가 공개된 같은 주, AI 안전성 논쟁도 폭발했다.
앤트로픽 연구자 제이컵 콕슨은 회사를 떠나며 오픈AI와 앤트로픽 등 주요 AI 기업들이 통제 가능한 범위를 넘어서는 시스템을 개발하고 있다고 경고했다. 그는 AI 기업들이 자기개선형 초지능을 향해 경쟁적으로 달려가고 있으며, 이 과정이 인류의 생존을 위협할 수 있다고 주장했다.
또 다른 앤트로픽 연구자 에번 휴빙거는 향후 10년 안에 AI로 인한 인류 멸종 가능성을 10% 이상으로 본다고 밝혔다. 이는 업계 안에서도 매우 강한 경고로 받아들여졌다.
이런 주장은 여전히 AI 전문가 사회 전체의 다수 견해라고 보기는 어렵다. 그러나 AI 최전선 기업 내부 연구자들이 공개적으로 이런 우려를 제기했다는 점에서, 논쟁의 무게는 달라졌다.
수학 돌파와 AI 공포가 같은 날 터졌다
이번 논란이 더 강한 충격을 준 이유는 AI의 성취와 위험 경고가 거의 동시에 나왔기 때문이다.
한쪽에서는 AI가 인류 최고 난제 중 하나를 풀었다는 소식이 나왔다. 다른 한쪽에서는 그런 기술이 통제되지 않으면 인류를 위협할 수 있다는 내부자의 경고가 터졌다.
WSJ 칼럼은 이 두 사건이 서로 분리된 것이 아니라 같은 흐름의 양면이라고 본다. AI가 수학에서 놀라운 성과를 냈다는 사실은 기술의 긍정적 가능성을 보여준다. 동시에 그만큼 AI 시스템이 인간이 이해하고 예측하기 어려운 수준으로 빠르게 발전하고 있다는 불안을 키운다.
수학자들도 충격과 반발
수학계의 반응도 복잡하다.
일부 수학자들은 AI가 수학 연구를 근본적으로 바꿀 수 있다고 본다. AI가 인간이 접근하지 못한 증명 경로를 찾고, 복잡한 계산과 추론을 보조하며, 새로운 아이디어를 제시할 수 있기 때문이다.
하지만 다른 수학자들은 AI 기업들이 인간 수학자들의 미공개 연구나 학문 공동체의 지적 축적을 이용해 성과를 내고 있는 것은 아닌지 의심하고 있다. 오픈AI는 이런 의혹을 부인했지만, AI가 인간 지식의 경계를 빠르게 잠식하고 있다는 불안은 커지고 있다.
필즈상 수상자인 테렌스 타오는 AI가 수학을 근본적으로 변화시킬 가능성을 인정해왔지만, AI 기업들에 대한 신뢰는 약해지고 있다고 밝혔다. 그는 다른 필즈상 수상자들과 함께 AI 업계가 수학 문제 해결 경쟁에 몰두하는 것이 수학의 본래 목적을 훼손할 수 있다고 경고했다.
"인간 수학자의 역할은 남아 있는가"
AI가 밀레니엄 문제급 난제를 풀 수 있다면, 인간 수학자의 역할은 무엇인가라는 질문도 제기된다.
수학자 티머시 가워스는 WSJ에 이번 돌파가 인간의 역할을 완전히 없앤 것은 아니지만, 이런 모델이 가능하다면 다른 많은 일도 할 수 있을 것이라고 말했다. 이는 수학뿐 아니라 과학, 공학, 의학, 금융, 군사기술 등 고난도 지식 영역 전반에 AI가 빠르게 진입할 수 있다는 의미다.
오픈AI는 지난달 샌프란시스코 사무실에서 수학자들을 초청해 AI가 수학에서 인간을 능가하는 상황을 전제로 논의하는 자리를 마련했다. 논의의 초점은 교육, 협업, 논문 출판, 다음 세대 수학자 양성 방식이 어떻게 달라질 것인가였다.
해답은 아직 없다. 하지만 수학계는 이미 AI 이후의 학문 구조를 고민해야 하는 단계에 들어섰다.
밀레니엄 문제의 상징성
밀레니엄 문제는 2000년 클레이수학연구소가 선정한 세계 7대 난제다. 각 문제에는 100만달러의 상금이 걸렸다. 당시만 해도 이 문제들은 컴퓨터가 접근하기 어려운 영역으로 여겨졌다.
필즈상 수상자 알랭 콘은 2000년 이 문제들이 컴퓨터로는 접근할 수 없다고 말한 바 있다. 그러나 이제 AI는 과거의 컴퓨터와 다른 방식으로 추론하고, 다수의 에이전트를 동원해 인간이 이해하기 어려운 속도로 문제를 탐색한다.
이 점에서 이번 사건은 단순히 수학 문제 하나가 풀렸다는 의미를 넘어선다. 인간이 "컴퓨터는 여기까지 오기 어렵다"고 여겼던 경계가 무너졌다는 상징적 의미를 갖는다.
AI 경쟁은 계속 가속
오픈AI는 한 밀레니엄 문제 해법을 공개한 뒤, 다른 문제 해결에도 가까워졌다고 시사했다. 만약 AI가 단기간에 여러 밀레니엄 문제를 해결한다면, 이는 수학 역사뿐 아니라 AI 발전사에서도 중대한 전환점이 될 수 있다.
칼럼은 1년 전만 해도 전문가 예측가들이 AI가 2030년까지 밀레니엄 문제를 풀 확률을 약 20%로 봤다고 전했다. 그러나 최근 몇 달 사이 불가능해 보이던 일이 점점 불가피한 일처럼 느껴지기 시작했다.
AI의 성과가 더 이상 놀라움으로만 받아들여지지 않는다는 점이 오히려 더 큰 변화다. 사람들은 AI가 무엇을 할 수 있는지보다, 어디까지 갈 수 있는지를 묻기 시작했다.
결론: 수학 돌파가 던진 더 큰 질문
AI가 최고 난도의 수학 문제를 풀 수 있다는 사실은 분명 놀라운 성취다. 하지만 동시에 그것은 훨씬 더 큰 질문을 던진다.
AI가 인간 최고의 추론 영역을 빠르게 따라잡거나 넘어선다면, 인간은 이 시스템을 어떻게 이해하고 통제할 수 있는가. AI가 수천 개의 에이전트로 나뉘어 협업하고, 스스로 개선하며, 인터넷과 현실 시스템에 연결될 때 그 행동을 누가 감시하고 멈출 수 있는가.
이번 수학 돌파는 AI의 능력을 보여준 사건이다. 그러나 같은 주 터진 앤트로픽 연구자들의 경고는 그 능력이 통제되지 않을 경우 어떤 두려움을 낳는지도 보여줬다.
수학 문제는 AI가 풀었다. 하지만 AI 시대의 안전, 책임, 인간의 역할이라는 문제는 아직 인간이 풀어야 한다.