2026.11.06 03:29 PM

양자컴퓨터보다 AI가 먼저 암호를 깰까...수학 돌파에 '포스트 AI 암호' 논쟁

By 전재희

AI가 난제 풀이 속도 높이자 현대 암호체계의 수학적 전제까지 흔들릴 가능성 제기
이더리움 창시자 부테린 "양자뿐 아니라 AI 취약성도 대비해야"...'포스트 AI 암호' 주장
암호학계는 의견 엇갈려..."실제 암호가 깨졌다는 증거는 아직 없다"

인터넷 뱅킹과 이메일, 암호화폐, 기업 데이터와 정부 통신까지 현대 디지털 시스템의 대부분은 특정 수학문제를 풀기가 극도로 어렵다는 전제 위에서 작동한다. 지금까지 가장 큰 위협으로 지목돼온 것은 이런 계산을 기존 컴퓨터보다 압도적으로 빠르게 처리할 수 있는 양자컴퓨터였지만, 최근에는 인공지능(AI)의 수학적 능력 자체가 더 먼저 암호체계의 약점을 찾아낼 수 있다는 새로운 우려가 제기되고 있다.

월스트리트저널(WSJ)에 따르면 AI는 최근 수학과 이론 컴퓨터과학의 여러 난제에서 예상보다 빠른 속도로 돌파구를 만들고 있다. 문제는 이 과정에서 현대 암호학의 안전성을 뒷받침하는 핵심 가정 가운데 일부가 틀렸다는 사실이 발견될 가능성이다. 아직 현재 사용 중인 주요 암호체계가 AI에 의해 실제로 깨졌다는 증거는 없지만, 일부 암호학자들은 AI가 인간 연구자보다 훨씬 넓은 수학적 공간을 탐색하면서 지금까지 발견하지 못했던 '지름길'을 찾아낼 수 있다고 경고하고 있다.

현대 암호는 '풀기 어려운 수학' 위에 세워져 있다

오늘날 인터넷 암호화의 핵심은 어떤 계산은 한쪽 방향으로는 쉽지만 반대로 되돌리는 것은 극도로 어렵다는 수학적 특성을 이용하는 데 있다. 대표적인 예가 매우 큰 두 소수를 곱하는 계산이다. 두 수를 곱해 하나의 거대한 숫자를 만드는 것은 비교적 쉽지만, 결과값만 보고 원래의 두 소수를 찾아내는 소인수분해는 기존 컴퓨터로는 현실적인 시간 안에 수행하기 매우 어렵다.

이런 '비대칭적인 계산 난이도'가 공개키 암호를 비롯한 현대 보안체계의 토대가 된다. 암호학은 어떤 문제가 실질적으로 풀 수 없을 만큼 어렵다는 전제를 바탕으로 보안을 설계하는데, 만약 새로운 수학적 알고리즘이 등장해 그 문제를 빠르게 해결할 수 있게 된다면 암호 자체를 바꾸지 않고도 보안체계가 무너질 수 있다.

존스홉킨스대 암호학자인 매슈 그린(Matthew Green)은 그동안 암호가 안전하다고 믿어온 중요한 근거 가운데 하나가 "수많은 똑똑한 사람들이 오랫동안 살펴봤지만 해결법을 찾지 못했다"는 사실이었다고 설명했다. 그러나 그는 AI의 등장으로 인간 연구자들이 오랫동안 찾아내지 못했다는 사실 자체가 더 이상 충분한 안전성의 증거가 되지 않을 수 있다고 지적했다.

제2의 '에니그마 순간' 올 수도

WSJ는 현재의 상황을 제2차 세계대전 당시 독일의 에니그마(Enigma) 암호와 비교했다. 당시 에니그마는 사실상 해독이 불가능한 시스템으로 여겨졌지만 앨런 튜링(Alan Turing)과 영국 블레츨리파크 연구팀은 폴란드 연구진이 개발한 기술을 발전시킨 전기기계식 장치를 이용해 암호를 해독하는 데 성공했다.

당시에도 문제는 암호 자체가 갑자기 단순해진 것이 아니라, 이전과 전혀 다른 방식으로 문제를 풀어낸 새로운 계산방법이 등장했다는 점이었다. 일부 암호학자들이 AI를 우려하는 이유도 비슷하다. 오늘날 '계산상 불가능하다'고 여기는 문제 가운데 일부가 실제로는 불가능한 것이 아니라 아직 적절한 알고리즘을 발견하지 못한 것일 수도 있다는 것이다.

AI는 인간 연구자보다 훨씬 많은 가설과 증명경로를 동시에 탐색할 수 있고, 최근에는 수학적 증명과 알고리즘 탐색에서도 성과를 내고 있다. 만약 이런 능력이 암호학의 핵심 난제로 향한다면 양자컴퓨터가 충분히 발전하기 전에 기존 컴퓨터에서 실행할 수 있는 새로운 해독 알고리즘이 등장할 가능성도 배제할 수 없다는 주장이다.

'지름길은 없다'는 가정까지 흔들리나

최근 연구자들이 특히 주목하는 것은 이론 컴퓨터과학 분야의 '지수시간가설(Exponential Time Hypothesis)'을 둘러싼 새로운 결과다. 이 가설은 특정 종류의 계산문제는 근본적으로 지름길이 없으며, 문제의 크기가 커질수록 해결시간이 폭발적으로 늘어날 수밖에 없다는 생각을 뒷받침해왔다.

WSJ는 최근 OpenAI와 Anthropic의 AI 연구에서 이 가설과 관련해 기존 통념을 흔드는 결과가 나왔다고 전했다. 만약 일부 어려운 문제에 예상하지 못했던 계산상 지름길이 존재한다면 수십 년 동안 구축된 이론 컴퓨터과학의 일부 전제도 다시 검토해야 할 수 있다.

그렇다고 지수시간가설과 관련한 돌파가 곧바로 인터넷 암호의 붕괴를 의미하는 것은 아니다. 다만 암호학이 '어떤 문제에는 실질적인 지름길이 없다'는 믿음에 크게 의존하고 있다는 점에서, AI가 이런 수학적 가정을 하나씩 흔들기 시작하면 암호학계도 기존의 안전성 평가방식을 다시 생각해야 할 수 있다는 것이다.

부테린 "포스트 양자 넘어 '포스트 AI 암호' 준비해야"

이더리움(Ethereum) 창시자 비탈릭 부테린(Vitalik Buterin)은 이런 위험을 가장 적극적으로 경고하는 인물 가운데 하나다. 그는 지난 10월 X에 "AI가 가속하는 수학으로 인한 암호학 위험을 심각하게 받아들여야 한다"며 양자컴퓨터에 취약한 암호뿐 아니라 AI가 찾아낼 수 있는 새로운 수학적 공격에도 노출을 줄여야 한다고 주장했다.

최근 인도 뭄바이에서 열린 이더리움재단 연례회의에서는 한 단계 더 나아가 '포스트 AI 암호(post-AI cryptography)'가 필요하다고 강조했다. 현재 세계 각국과 기술기업들은 양자컴퓨터에 대응하기 위한 '포스트 양자 암호(postquantum cryptography)' 전환을 추진하고 있지만, 부테린의 주장은 AI가 양자컴퓨터와는 전혀 다른 방식으로 암호학을 공격할 수 있다는 가능성까지 고려해야 한다는 것이다.

그린 역시 현재 암호체계가 이미 무너졌다는 증거는 없다고 선을 그으면서도 다음 단계의 AI 수학 연구가 암호학의 기반 문제와 더 직접적으로 연결될 가능성을 우려하고 있다. 특히 암호 시스템은 한번 구축하면 세계 각국의 소프트웨어와 금융망, 통신기기까지 교체하는 데 수년이 필요하기 때문에 문제가 발견된 뒤 대응하는 방식으로는 충분하지 않을 수 있다는 주장이다.

반론도 강해..."공포를 키울 증거는 없다"

그러나 모든 암호학자가 이런 우려에 동의하는 것은 아니다. Coinbase의 암호학 책임자이자 이스라엘 바르일란대 컴퓨터과학 교수인 예후다 린델(Yehuda Lindell)은 세계 온라인 보안이 곧 무너질 것이라는 식의 추측은 근거가 부족할 뿐 아니라 오히려 무책임할 수 있다고 반박했다.

린델은 "무엇이든 가능하다고 말할 수 있지만 나쁜 일이 일어날 수 있다고 추측하는 것만으로는 아무에게도 도움이 되지 않는다"고 말했다. 특히 현재 도입이 진행 중인 포스트 양자 암호가 AI 수학의 발전 때문에 다시 무용지물이 될 수 있다는 주장에는 동의하지 않았다.

그는 오히려 포스트 양자 암호 알고리즘이 양자컴퓨터뿐 아니라 다양한 형태의 계산공격을 견딜 가능성이 높다고 본다. AI가 암호분석에 도움을 줄 수 있다는 점은 인정하지만, 이것이 곧 암호학의 근본적인 수학 전제가 무너질 것이라는 의미는 아니라는 것이다.

최악의 경우에도 '키를 더 길게' 만들면 될 수도

린델은 AI가 암호분석 능력을 크게 높이더라도 반드시 인터넷 보안 전체가 붕괴하는 상황으로 이어지지는 않을 것이라고 설명했다. 최악의 경우 현재보다 훨씬 긴 암호키를 사용하는 방식으로 보안을 강화해야 할 수 있으며, 이는 암호화와 복호화 속도를 늦추기는 하지만 인터넷 자체를 사용할 수 없게 만드는 수준의 문제는 아닐 수 있다는 것이다.

암호학계가 갈리는 근본적인 이유는 아직 해결되지 않은 수학적 질문에 대한 시각 차이다. 그린처럼 우려하는 연구자들은 지금까지 발견하지 못한 결정적인 수학적 알고리즘이 어딘가에 존재할 수 있다고 본다. 반면 린델과 같은 연구자들은 수십 년 동안 수많은 수학자가 공격방법을 연구해왔음에도 근본적인 약점이 발견되지 않았다는 점을 중요하게 평가한다.

린델은 AI가 암호분석의 발전을 가져올 가능성 자체는 매우 높다고 인정한다. 그러나 암호학을 지탱하는 핵심 가정, 즉 어떤 계산문제는 본질적으로 지름길이 존재하지 않는다는 전제는 앞으로도 유지될 가능성이 높다고 보고 있다.

AI가 공격자이면서 동시에 방어자가 될 수도

AI의 발전을 반드시 암호학에 대한 위협으로만 볼 필요가 없다는 주장도 있다. 공격자가 AI를 이용해 새로운 암호해독 방법을 찾을 수 있다면 방어자 역시 같은 AI를 이용해 기존 알고리즘의 약점을 찾아내고 더 강력한 암호체계를 설계할 수 있기 때문이다.

린델은 만약 현대 암호의 근본적인 취약점이 발견돼야 한다면 차라리 OpenAI나 Anthropic 같은 AI 연구소에서 먼저 발견하는 편이 낫다고 주장했다. 이들 기업은 소프트웨어 취약점을 발견하면 관련 기관이나 기업에 통보해 패치할 시간을 제공하는 보안공개 절차를 따를 가능성이 높기 때문이다.

그는 반대로 북한과 같은 국가가 먼저 암호체계의 근본적인 약점을 발견하고 이를 비밀리에 이용하는 상황이 훨씬 위험하다고 지적했다. 실제 암호학에서는 공격방법이 공개됐을 때보다 공격자가 취약점을 독점적으로 알고 있을 때 피해가 훨씬 커질 수 있다.

이미 세계는 '양자 이후 암호'로 이동 중

기술업계와 정부는 이미 양자컴퓨터가 기존 암호체계를 위협할 가능성에 대비해 포스트 양자 암호로 전환하고 있다. 양자컴퓨터는 충분한 성능을 확보할 경우 현재 널리 쓰이는 일부 공개키 암호를 빠르게 해독할 수 있는 것으로 알려져 있어, 세계 주요 보안기관과 기술기업들은 새로운 암호 알고리즘을 구축하고 있다.

이 전환은 단순히 서버의 암호설정을 바꾸는 작업이 아니다. 금융망과 정부 시스템, 스마트폰, 자동차, 산업설비와 사물인터넷 기기에 이르기까지 수십억개의 장치와 소프트웨어를 교체하거나 업데이트해야 하기 때문에 상당한 시간이 필요하다.

그린이 AI의 위험을 더 심각하게 보는 이유도 여기에 있다. 양자컴퓨터는 오랜 기간 위협이 예상됐기 때문에 업계가 미리 준비할 시간이 있었지만, AI가 갑작스럽게 새로운 수학적 알고리즘을 발견한다면 대응기간이 훨씬 짧아질 수 있다는 것이다.

'지금 당장 암호가 깨진다'는 얘기는 아니다

현재까지의 상황을 가장 중요하게 구분할 필요가 있다. AI가 RSA나 현재 인터넷에서 사용하는 주요 암호 알고리즘을 실제로 해독했다는 증거는 없다. OpenAI나 Anthropic의 최근 수학 성과 역시 인터넷 암호를 직접 무너뜨린 결과가 아니라, AI가 인간 연구자들이 오랫동안 해결하지 못했던 수학과 이론 컴퓨터과학 문제를 빠르게 파고들 수 있다는 점을 보여준 사례다.

따라서 현재 논쟁은 이미 발생한 보안위기를 설명하는 것이 아니라 앞으로 발생할 가능성이 있는 새로운 유형의 위험에 얼마나 일찍 대비해야 하는지를 둘러싼 논쟁에 가깝다. 양자컴퓨터가 암호를 무너뜨릴 날을 대비해 포스트 양자 암호를 준비해왔듯, AI가 수학의 근본적인 지름길을 찾아낼 가능성까지 미리 고려할 필요가 있느냐는 것이다.

양자컴퓨터보다 AI가 먼저 올 수 있다는 새로운 질문

그동안 사이버보안 분야에서 가장 두려운 미래 시나리오는 충분히 강력한 양자컴퓨터가 등장해 현재의 암호체계를 무너뜨리는 것이었다. 이를 막기 위해 세계는 이미 차세대 암호체계로의 대규모 전환을 시작했다.

그러나 AI의 수학 능력이 빠르게 발전하면서 새로운 질문이 등장했다. 양자컴퓨터가 완성되기 전에 AI가 기존 컴퓨터에서도 실행 가능한 새로운 알고리즘을 찾아내 암호학의 약점을 먼저 드러낼 수 있느냐는 것이다.

일부 전문가들은 인간이 지금까지 발견하지 못했다는 사실을 더 이상 강력한 안전성의 근거로 볼 수 없다고 주장한다. 반면 다른 전문가들은 수십 년간 검증된 암호학의 기본 전제가 AI의 등장만으로 갑자기 무너지지는 않을 것이라고 보고 있다.

어느 쪽이 맞는지는 아직 알 수 없다. 다만 한 가지는 분명하다. 암호학계가 준비해야 할 미래가