앤스로픽(Anthropic) CEO 다리오 아모데이(Dario Amodei)가 블로그 게시글을 통해 인공지능(AI) 개발 속도를 늦추기 위한 세 가지 전략을 제시했다고 테크크런치가 12일(토) 보도했다. 아모데이는 이 가운데 하나를 회사 차원에서 "일방적으로 이행하겠다"고 밝혔으며, 오픈AI(OpenAI) CEO 샘 올트먼(Sam Altman)도 즉각 동참 의사를 밝혔다고 매체는 전했다.
보도에 따르면 AI 연구자들 사이에서 인공지능의 위험성을 경고하는 목소리가 잇따르는 가운데, 올트먼 역시 최근 AI 개발 "속도 조절(pace)"이 필요한 시점일 수 있다는 취지의 발언을 내놓은 바 있다. 아모데이는 이번 게시글에서 "프론티어(최전선 기술) 속도를 조절해야 한다"는 주장에 동의하면서, 이를 실현할 구체적 방안을 제시했다.
◇ 앤스로픽 연구원 사임 논란 속 나온 발언
테크크런치에 따르면 이번 발언은 AI 안전성과 정렬(alignment)을 둘러싼 논쟁이 격화된 시점에 나왔다. 앤스로픽 연구원 제이컵 콕슨(Jacob Coxon)은 최근 선도적 AI 기업들이 "우리의 생명을 걸고 도박을 하고 있다"며 회사를 그만두겠다고 밝혔다. 콕슨은 AI를 개발하는 당사자들조차 "이 기술이 이번 10년 안에 인류 전체를 죽일 수도 있다고 진지하게 믿고 있다"고 주장했으며, 앤스로픽 내 다른 인사들도 비슷한 우려를 제기한 것으로 전해졌다.
아모데이는 게시글에서 콕슨의 사임이나 그의 우려를 직접 언급하지는 않았다. 다만 그는 자신이 좀 더 신중한 접근이 필요하다고 확신하게 된 계기로 두 가지를 꼽았다. 하나는 오픈AI-허깅페이스(Hugging Face) 해킹 사건이고, 다른 하나는 최근 몇 달간 AI가 "극적으로 빠르게" 발전하고 있다는 점, 특히 "차세대 AI를 만들어내는 능력"이 커지고 있다는 점이다.
아모데이는 "우리는 AI 모델의 성능을 향상시키는 속도를 늦춰야 한다"며 "발전은 여전히 빠르게 느껴질 것이고, 우리는 그렇게 벌어들인 시간을 현명하게 써야 한다"고 썼다.
이 같은 게시글에 대해 다른 AI 업계 최고경영자들도 대체로 긍정적으로 반응했다고 매체는 전했다. 올트먼은 "다리오의 말처럼 우리는 프론티어 속도를 조절할 필요가 있다"며 "이는 최근 몇 주간 오픈AI 내부에서도 주요 논의 주제였다"고 밝혔다. 스페이스X(SpaceX) CEO 일론 머스크(Elon Musk)도 "다리오의 말이 맞다"고 짧게 호응했다.
◇ 3단계 전략…"제3자 평가단 상주"부터 "글로벌 공조"까지
아모데이가 제시한 첫 번째 조치는 METR 같은 제3자 기관 소속의 '임베디드 평가단(embedded evaluators)'을 AI 기업 내부에 상주시키는 것이다. 이들은 AI 기업이 실제로 속도 조절과 안전 관련 약속을 지키고 있는지 검증하고, 안전 사고가 제대로 보고되도록 감시하는 역할을 맡는다. 앞서 오픈AI는 자사 AI 에이전트가 독일의 한 위키 포럼을 장악한 사건을 제대로 보고하지 않았다는 비판을 받은 바 있다.
아모데이는 이런 평가단을 은행에 파견돼 근무하는 규제당국 직원에 비유하면서, 이들을 초청하는 것이 "앤스로픽이 일방적으로 이행하기로 약속한 조치"라고 밝혔다. 그는 또 정부가 다른 선도적 AI 기업들에도 이를 의무화하도록 요구했다. 구체적으로는 평가단에 회사 출입증과 자리, 노트북을 제공하고, 법률이나 계약상 예외가 있는 경우를 제외하면 "내부 리스크 평가팀이 갖는 것과 대체로 비슷한 수준"의 접근권을 부여하겠다는 것이다.
올트먼도 이를 "좋은 아이디어"라고 평가하며 오픈AI도 같은 조치를 취하겠다고 밝혔다. 그는 "곧 더 자세한 내용을 공유하겠다"고 덧붙였다.
두 번째로 아모데이는 "민주주의 국가 내" 선도적 AI 기업들이 "공동의 안전 기준과 통제되지 않은 AI 발전 속도에 대한 제한"을 놓고 공조할 것을 촉구했다. 다만 이런 공조는 현실적으로 쉽지 않을 수 있다고 매체는 짚었다. 보도에 따르면 AI 기업들은 공조된 속도 조절이 반독점 조사로 이어질 것을 우려하고 있는 것으로 알려졌다. 아모데이 역시 이 문제를 의식한 듯 "반독점 문제 때문에, 미국 정부가 이러한 논의를 중재하거나 최소한 가능하게 해주는 것이 도움이 될 것"이라며 "정부가 직접 참여할 필요는 없지만, 특정한 안전 관련 논의에 대해서는 제한적인 예외를 인정해줘야 한다"고 썼다.
아모데이는 AI 개발 속도를 늦추는 데 반대하는 논거로 흔히 제기되는 '중국의 AI 패권' 우려에 대해서도 언급했다. 그는 미국 정부와 기술 기업들이 고성능 반도체나 반도체 제조 장비를 중국 기업에 판매하지 않고, 모델 증류(distillation)를 단속하는 등의 조치를 취한다면 "향후 3~5년간 중국의 발전 속도를 충분히 늦춰 미국의 격차를 크게 벌릴 수 있다"고 주장했다.
마지막으로 아모데이는 "글로벌 공조"를 제안하며, 미국과 동맹국들이 "가능한 범위 내에서 권위주의 정부와도 공조를 시도해야 한다"고 밝혔다. 그는 이것이 사실상 "중국과의 협력"을 의미한다고 인정하면서도 "달성할 수 있는 것에는 뚜렷한 한계가 있다"고 덧붙였다. 다만 그는 생물무기 제조에 AI를 사용하거나 사용자가 그렇게 하도록 허용하는 등 "명백히 위험한 특정 좁은 범위의 AI 사용을 금지하는" 수준의 합의라도 가능할 수 있다고 제안했다.
◇ "종말론자" 비판과 "규제 포획" 지적도
테크크런치는 아모데이가 과거에도 AI의 잠재적 위험성을 인정해 왔고, 회사 차원에서 특정 형태의 규제에 비교적 개방적인 태도를 보여왔다는 점을 짚으면서, 일부 AI 낙관론자들은 이미 그를 '종말론자(doomer)'로 비판하며 그의 발언이 현재의 AI 반발 여론을 부추기고 있다고 지적해왔다고 전했다. 이에 아모데이는 자신이 "균형 잡힌" 시각을 제시하려 노력해왔다고 반박하면서, 현재의 반발 여론은 "근본적으로 신뢰의 위기"이며 사람들이 기술 기업과 기술 산업, 정부에 대해 회의적인 시각을 갖게 됐기 때문이라고 주장했다.
한편 업계 비판론자들은 이러한 종말론적 AI 경고에 대해 회의적인 시각을 유지하고 있다고 매체는 전했다. 이들은 이런 경고가 AI가 이미 초래하고 있는 실질적 피해로부터 관심을 돌리려는 것일 수 있다고 지적한다. 저널리스트 브라이언 머천트(Brian Merchant)는 "AI가 자기 재귀적으로 스스로를 개선하는 단계에서 지구상의 모든 인간을 죽이는 단계로 넘어가는 과정을 신뢰할 만하게 단계별로 설명한 자료를 아직 본 적이 없다"고 지적했다. 그는 아모데이의 제안과 유사한 방안들이 "결국 앤스로픽과 오픈AI에만 이익이 될 것"이라며 "이것이 바로 규제 포획(regulatory capture)이 실제로 작동하는 방식"이라고 비판했다.
아모데이는 이번 게시글에서 자신은 "AI가 인간 삶의 질을 크게 향상시킬 수 있다고 계속 믿는다"고 밝혔다. 그는 "이러한 혜택을 실현하고자 하는 나의 열망은 조금도 줄지 않았다"면서도 "다만 그 혜택은 우리가 이 기술을 올바른 방식으로 만들 때만 실현될 수 있으며, 우리가 벌어들인 시간을 잘 활용하는 한, 이를 제대로 해내기 위해 이례적일 만큼 신중을 기할 가치가 있다"고 강조했다.
