인공지능(AI) 기업 앤스로픽(Anthropic)이 세계 주요 AI 연구소들이 첨단 AI 개발 속도를 늦추거나 일시 중단하는 방안을 검토해야 한다고 촉구했다.

AI 모델이 인간의 개입 없이 스스로 성능을 개선하는 단계에 가까워지고 있으며, 이른바 '재귀적 자기개선(recursive self-improvement)'이 현실화할 경우 사회적 충격과 위험이 커질 수 있다는 이유에서다.

앤스로픽은 4일 블로그 글을 통해 자사의 가장 발전된 AI 모델들이 얼마나 빠르게 개선되고 있는지를 보여주는 내부 데이터를 공개하며, 글로벌 차원의 AI 개발 속도 조절 장치가 필요하다고 밝혔다. 이 글은 앤스로픽 내부 연구기관 책임자 마리나 파바로(Marina Favaro)와 공동창업자 잭 클라크(Jack Clark)가 작성했다.

앤스로픽은 "사회 구조와 AI 정렬 연구가 기술 발전 속도를 따라잡을 수 있도록, 프런티어 AI 개발을 늦추거나 일시 중단할 수 있는 선택지가 세계에 주어지는 것은 바람직하다"고 밝혔다. 여기서 프런티어 AI는 현재 기술 최전선에 있는 가장 강력한 AI 모델들을 의미한다.

"AI가 스스로 AI를 개선하는 단계 올 수 있다"

앤스로픽이 가장 우려하는 지점은 재귀적 자기개선이다. 이는 AI 시스템이 인간 연구자의 직접 개입 없이 스스로 자신의 성능을 개선하거나, 더 강력한 AI 시스템을 만드는 데 기여하는 단계를 뜻한다.

AI 업계 일부에서는 이 지점을 기술적 위험과 사회적 대격변의 분기점으로 본다. AI가 스스로 더 나은 AI를 만들 수 있게 되면 발전 속도가 인간의 통제를 넘어설 수 있다는 우려 때문이다.

앤스로픽은 아직 재귀적 자기개선이 발생한 것은 아니며, 반드시 일어날 것이라고 단정할 수도 없다고 밝혔다. 그러나 "대부분의 기관이 준비하기 전에 더 빨리 올 수 있다"고 경고했다.

이 회사는 AI 개발 속도를 늦추기 위한 글로벌 합의와, 경쟁사들이 실제로 이를 지키는지 확인할 수 있는 검증 체계가 필요하다고 제안했다.

1조 달러 기업가치 앞둔 앤스로픽의 경고

앤스로픽의 경고는 회사가 AI 업계의 최전선에 올라선 시점에 나왔다. 앤스로픽은 최근 기업가치가 거의 1조 달러에 달하는 자금조달을 마무리했고, 기업공개(IPO)를 위한 비공개 서류도 제출한 상태다.

앤스로픽은 오픈AI(OpenAI)와 치열한 AI 패권 경쟁을 벌이고 있으며, 최근에는 업계 선두주자로 부상했다. 오픈AI 역시 조만간 IPO 절차를 시작할 것으로 예상된다.

앤스로픽의 매출 성장세도 가파르다. 스타트업들이 단기 매출을 바탕으로 연간 매출을 추정할 때 쓰는 지표인 연환산 매출(run rate)은 이달 말 500억 달러에 도달할 것으로 예상된다. 이는 2025년 말 90억 달러에서 크게 증가한 수치다.

즉, 앤스로픽은 AI 개발 속도를 늦춰야 한다고 말하면서도, 동시에 AI 산업에서 가장 빠르게 성장하고 있는 기업 가운데 하나다. 이 때문에 회사의 경고는 업계 안팎에서 엇갈린 반응을 낳고 있다.

"안전 우려"인가 "경쟁사 견제"인가

앤스로픽은 창립 초기부터 AI 안전을 핵심 정체성으로 내세워왔다. 회사 경영진은 강력한 AI가 잘못 설계되거나 통제되지 않을 경우 사회에 심각한 피해를 줄 수 있다고 지속적으로 경고해왔다.

하지만 비판자들은 앤스로픽의 안전 논의가 경쟁사들의 AI 개발을 늦추기 위한 전략일 수 있다고 의심한다. 벤처투자자이자 도널드 트럼프(Donald Trump) 대통령의 비공식 자문역으로 알려진 데이비드 삭스(David Sacks)는 앤스로픽 경영진이 "규제 포획(regulatory capture) 의제"를 추진하고 있다고 비판했다.

규제 포획이란 특정 기업이나 산업이 규제를 자신에게 유리하게 설계하도록 영향력을 행사하는 것을 뜻한다. 삭스는 워싱턴의 이런 움직임이 결국 오픈소스 AI 모델 금지 시도로 이어질 수 있다고 주장했다. 오픈소스 모델은 기업이나 조직이 상대적으로 저렴하게 사용하고 내부 개발에 활용할 수 있는 AI 시스템이다.

일부 회의론자들은 앤스로픽이 자사 AI의 위험성을 강조하는 것이 동시에 마케팅 효과를 노린 행동일 수 있다고 본다. 예컨대 앤스로픽은 강력한 사이버보안 AI 모델 '미토스(Mythos)'가 악용될 수 있다며 공개를 제한했는데, 비판자들은 이런 방식이 오히려 제품의 성능을 부각하는 홍보 수단이 될 수 있다고 지적한다.

내부에는 실제 위험을 우려하는 연구자들도

그러나 앤스로픽 내부의 안전 우려를 단순히 홍보 전략으로만 볼 수 없다는 시각도 있다. 펜실베이니아대 와튼스쿨의 이선 몰릭(Ethan Mollick) 교수는 앤스로픽을 둘러싼 비판을 인정하면서도, 회사 내부에는 AI 위험을 진심으로 우려하는 연구자들이 많다고 설명했다.

몰릭 교수는 AI 연구소들은 여러 성격이 뒤섞인 조직이라고 말했다. 한편에는 1조 달러 기업으로서 마케팅팀과 변호사, 사업적 이해관계가 있고, 다른 한편에는 다음 모델을 만드는 핵심 연구진이 있으며, 또 다른 한편에는 기술의 미래와 사회적 영향을 걱정하는 사람들이 있다는 것이다.

그는 이런 그룹들이 때로는 서로 충돌한다고 분석했다. 이는 앤스로픽의 최근 메시지가 기업의 이해관계와 연구자들의 진정한 우려가 복합적으로 얽힌 결과일 수 있음을 시사한다.

AGI와 자기개선 가능성 놓고 업계 의견 분열

AI 업계에서는 현재 모델들이 인간 수준의 범용지능, 즉 AGI(Artificial General Intelligence)에 얼마나 가까워졌는지를 놓고 의견이 크게 갈린다. AGI는 인간과 비슷한 수준으로 다양한 문제를 이해하고 해결할 수 있는 AI를 말한다.

앤스로픽은 강력한 AI 시스템이 가까운 미래에 등장할 가능성을 경고해왔다. 최고경영자 다리오 아모데이(Dario Amodei)는 AI가 불평등을 심화시키고, 초급 사무직 일자리의 절반가량을 없앨 수 있다고 경고한 바 있다.

아모데이는 또 강력한 AI가 예측하기 어려운 방식으로 파괴적 성향을 보일 가능성도 있다고 주장해왔다. 그는 올해 1월 자신의 웹사이트에 올린 글에서, AI 반란을 다룬 공상과학 서사를 학습한 AI가 실제로 반란적 행동을 학습할 수 있다는 가능성까지 제기했다.

반면 AI 선구자이자 메타플랫폼스(Meta Platforms)의 전 수석 AI 과학자인 얀 르쿤(Yann LeCun)은 대형언어모델 기반의 현재 AI 시스템이 인간 지능에 필적하는 수준으로 도약하지는 못할 것이라고 주장해왔다. 그는 현재 AI를 강력한 도구로 보면서도, 그 지능을 고양이 수준에 비유하며 AI가 인류에게 실존적 위험을 준다는 주장에 반박해왔다.

잭 클라크 "2년 안에 가능할 수도"

앤스로픽 공동창업자 잭 클라크는 재귀적 자기개선이 세계를 근본적으로 바꿀 수 있는 기술이라고 봐왔다. 그는 지난달 런던 강연에서 이런 종류의 기술은 이전에 존재한 적이 없으며, 향후 2년 안에, 어쩌면 그보다 더 빨리 나타날 수 있다고 말했다.

그는 글로벌 차원의 조율된 속도 조절이 없다면, 현재 상황은 매우 위험하다고 주장했다. 여러 국가와 기업의 다양한 주체들이 상업적 경쟁과 지정학적 경쟁 속에서 강력한 기술을 빠른 속도로 개발하고 있으며, 그 과정에서 인류 전체에 미칠 실존적 위험에 대한 논의가 밀려나고 있다는 것이다.

앤스로픽은 이번 블로그 글에서 사내 연구기관인 앤스로픽 인스티튜트(Anthropic Institute)가 향후 다른 연구자들과 협력해 신뢰할 수 있는 개발 속도 조절 또는 일시 중단에 필요한 시스템을 연구하겠다고 밝혔다.

핵무기 조약보다 더 어려운 검증 문제

앤스로픽은 AI 개발 속도 조절이 의미를 가지려면 주요 개발 주체들이 폭넓게 동참해야 한다고 강조했다. 특정 기업이나 국가만 멈추고 다른 경쟁자가 계속 개발한다면, 멈춘 쪽은 경쟁에서 뒤처지고 계속 개발한 쪽이 우위를 차지할 수 있기 때문이다.

따라서 핵심은 검증 체계다. 누가 실제로 AI 학습을 멈췄는지, 혹은 몰래 계속하고 있는지 확인할 수 있어야 한다.

앤스로픽은 이 문제를 핵무기 조약에 비유했다. 그러나 동시에 AI 개발 검증은 핵무기보다 더 어렵다고 인정했다. 미사일 격납고는 위성이나 정보망으로 비교적 감시가 가능하지만, AI 모델 학습은 데이터센터 내부에서 은밀히 진행될 수 있기 때문이다.

앤스로픽은 "학습 실행은 미사일 격납고보다 훨씬 숨기기 쉽다"며 "다른 이들이 멈춘 사이 계속 개발하는 쪽이 선두를 차지할 수 있다"고 밝혔다.

정책당국·연구자 참여한 논의 예고

앤스로픽은 앞으로 몇 달 동안 정책당국자, 연구자, 시민사회 인사들과 재귀적 자기개선과 검증 체계에 대한 논의를 조직할 계획이다. 회사는 AI 기업 바깥의 사람들도 이 논의에 참여해야 한다고 강조했다.

이는 AI의 미래를 소수 기업과 연구자, 투자자들만 결정해서는 안 된다는 문제의식에서 나온 것이다. 특히 AI 개발 속도가 사회 제도, 노동시장, 안보체계, 규제 장치보다 빠르게 움직일 경우, 기술이 먼저 현실을 바꾸고 사회가 뒤늦게 대응하는 상황이 벌어질 수 있다.

앤스로픽의 이번 제안은 AI 업계에 중요한 질문을 던진다. 강력한 AI 개발 경쟁은 계속 가속돼야 하는가, 아니면 일정 시점에서 사회가 따라잡을 시간을 벌기 위해 속도를 늦춰야 하는가.

그러나 현실적 장애물도 크다. 미국과 중국, 주요 AI 기업들이 치열하게 경쟁하는 상황에서 글로벌 일시 중단 합의가 가능할지는 불투명하다. 또한 어떤 모델을 '프런티어 AI'로 볼 것인지, 어느 수준의 학습을 중단 대상으로 삼을 것인지, 누가 어떻게 감시할 것인지도 해결되지 않은 문제다.

앤스로픽은 아직 재귀적 자기개선이 일어난 것은 아니라고 선을 그었다. 하지만 그 가능성이 생각보다 가까이 왔다고 주장한다. AI 산업의 선두권에 있는 기업이 스스로 개발 속도 조절 필요성을 제기했다는 점에서, 이번 발언은 향후 AI 규제와 국제 기술 경쟁 논의의 핵심 쟁점으로 떠오를 전망이다.