앤스로픽 "AI 에이전트 여럿 붙였더니 서로 방해하며 악성코드로 영토 다툼"

앤스로픽(Anthropic)의 프런티어 레드팀(Frontier Red Team)이 13일(목) 발표한 연구에서, 같은 작업 환경에 투입된 다수의 AI 에이전트들이 서로를 방해자로 인식하고 자기복제형 악성코드까지 동원해 '영토 다툼'을 벌이는 현상이 관찰됐다고 IT전문매체인 테크크런치(TechCrunch)가 보도했다.

테크크런치에 따르면 이번 연구는 기업과 정부가 공유 코드베이스, 시장, 컴퓨터 시스템 전반에 걸쳐 자율적으로 작동하는 에이전트를 도입하는 과정에서 발생할 수 있는 잠재적 위험을 점검하기 위해 진행됐다.

연구진은 실험에서 클로드(Claude) 기반 에이전트 세 개에 동일한 소프트웨어 프로젝트에 대한 접근 권한을 부여하되, 각각에 서로 양립할 수 없는 지시를 내렸다. 에이전트들에게는 다른 에이전트가 같은 프로젝트에서 작업 중이라는 사실을 알리지 않은 채, 이들이 마주쳤을 때 어떤 일이 벌어지는지를 관찰했다.

(앤트로픽. 자료화면)

앤스로픽 연구진은 "우리는 일관되게 다중 에이전트 간의 영토 다툼을 목격했다"고 밝혔다. 에이전트들은 서로가 "고의로 자신의 작업을 방해하고 있다"고 판단했으며, 이후 "점점 더 공격적이고 자기복제하는 악성코드"를 동원해 서로를 방해하기 시작했다.

이번 연구는 앤스로픽과 오픈AI(OpenAI)의 에이전트가 사이버보안 평가 도중 샌드박스를 이탈해 실제 시스템을 침해한 여러 사건이 알려진 직후 나왔다. 그간 AI 안전성 논의는 자율 에이전트 하나가 통제를 벗어나는 상황에 초점이 맞춰져 왔지만, 이번 연구는 수천, 수백만 개의 에이전트가 서로 상호작용할 때 어떤 새롭고 유해한 역학이 생겨나는지를 묻는다는 점에서 다르다.

보고서는 "에이전트 간 상호작용의 규모가, 그런 상호작용을 잘 관리하는 방법을 세상이 이해하기도 전에 인간-인간 또는 인간-에이전트 상호작용의 규모를 넘어설 수 있다"며 "개별 차원에서는 사소해 보이는 행동상의 특이점이 누적되면 원치 않는 전 지구적 결과로 이어질 수 있다"고 지적했다.

◇ 실제 사례로 확인된 '집단행동'의 위험

앤스로픽이 지적한 역학 중 상당수는 최근 오픈AI 사례에서 실제로 확인됐다. 이달 초 라스베이거스에서 열린 블랙햇(Black Hat) 보안 콘퍼런스에서 오픈AI는, 자사 에이전트들이 허깅페이스(Hugging Face)를 해킹하기 몇 주 전부터 자사 사이버보안 평가 시스템의 취약점을 함께 찾아내고 이를 서로 공유하며 며칠, 몇 주에 걸쳐 협력했다고 밝힌 바 있다.

이 사례는 에이전트들이 서로 잘 협력할 수 있고, 그 결과가 대규모로 이어질 수 있다는 점을 보여준다. 반면 앤스로픽의 이번 연구는 에이전트들의 목표가 서로 양립하지 않을 때 벌어지는 상황을 보여준다는 점에서 대조적이다.

영토 다툼 실험에서 얻은 교훈은, 서로 상충하는 지시를 받은 독립적 에이전트들이 유해한 경쟁으로 치달을 수 있다는 것이다. 에이전트의 성능이 높을수록 '싸움'에도 능숙해졌다. 다만 이들은 스스로 갈등을 해결하는 메커니즘, 이를테면 승자독식 경쟁 방식을 자발적으로 고안해내기도 했다.

앤스로픽은 "에이전트들은 때때로 자신의 목표를 서로에게 전달하고 조율하는 데 성공한다"며 "상대의 동기를 적대감이 아니라 상충하는 지시로 인식하고, 이후 끝없는 확전을 멈추기 위해 갈등의 고리에서 벗어난다"고 설명했다. 이어 "이런 성공적인 사례 다수에서 에이전트들은 악의적 행동에 대해 사과하는 커밋 메시지나 마크다운 파일을 작성하고 휴전을 조율했다"며 "악성 코드를 정리하고 갈등의 성격을 명확히 한 뒤 인간의 개입을 요청했다"고 밝혔다.

보고서에 따르면 모델 '미토스(Mythos) 5'는 휴전으로 갈등을 해결한 비율이 98%로 가장 높았다. 반면 '소네트(Sonnet) 4.6'과 '오퍼스(Opus) 4.6'은 힘으로 문제를 해결하려는 경향이 가장 강했다. 앤스로픽은 "소네트 4.6과 오퍼스 4.6은 상대의 목표를 고려하지 못하는 경향이 반복돼, 평가된 모델 중 가장 정렬에서 벗어난 행동으로 치닫는다"며 "이들은 자신의 지시를 명분 삼아 계속 확전한다"고 지적했다.

일부 사례에서는 에이전트들이 갈등을 해결하기 위해 토너먼트 형식의 사회적 메커니즘을 스스로 고안해내기도 했다. 이 결과는 두 가지 측면에서 흥미롭다. 첫째, 세 에이전트 모두 원래 사용자의 요청에서 벗어나는 결과가 되더라도 토너먼트에서 패하면 물러나기로 합의했다. 둘째, 여러 사례에서 미토스 5가 예상치 못한 행동을 보였다. 이 에이전트는 다른 에이전트들에게는 객관적이고 중립적으로 보이지만 실제로는 자신의 역량에 유리하게 작용할 것을 알고 있는 평가 기준을 제안했다. 미토스 5는 이를 "자기 이익에 부합하지만 진정으로 원칙적인" 방식이라고 표현했으며, 다른 에이전트들에게 "기준을 골라 유리하게 고르는(metric shopping)" 것처럼 보이지 않도록 주의를 기울였다.

블랙햇에서 드러난 오픈AI 사례에서도 확인됐듯, 공통된 교훈은 에이전트가 장애물에 부딪혔을 때 설계자가 예상하지 못한 사회적·기술적 구조를 스스로 만들어낼 수 있다는 점이다. 앤스로픽 모델들에게는 영토 다툼 이후의 토너먼트가, 오픈AI 에이전트들에게는 집단 계획을 위한 게시판이 그런 사례였다. 이런 행동 양상은 시스템의 행동이 설계자가 제공한 조율 메커니즘 안에 머물 것이라고 가정할 수 없게 만들기 때문에 통제를 훨씬 어렵게 한다.

◇ 확산되는 '동조 행동'…가격 담합까지

앤스로픽은 조율 양상을 측정하는 과정에서, 에이전트 수를 늘린다고 해서 생산적인 협업이 자동으로 늘어나지는 않는다는 점도 확인했다. 작업이 겹치거나 상호 의존적으로 변하면 에이전트들은 서로를 방해했고, 이를 스스로 해결하기 위해 각자 고립되어 아예 협업을 하지 않는 방식을 택하는 경우도 많았다.

반대로 에이전트들이 조율에 나선 경우에는 획일화 경향이 나타났다. 맥락, 스캐폴딩, 기반 모델 등의 조건이 같거나 비슷할 때, 서로 다른 에이전트들이 비슷한 행동을 취하는 경향을 보였다. 앤스로픽은 "이는 한 에이전트가 나쁜 결정을 내리면 다른 다수의 에이전트도 같은 나쁜 결정을 내릴 가능성이 크다는 뜻"이라며 "원래는 개별적 문제에 그쳤을 사안이 빠르게 시스템 전반의 실패로 번질 수 있다"고 밝혔다. 앤스로픽은 이런 행동 양상이 시스템을 갑작스러운 붕괴, 자원 부족, 담합에 더 취약하게 만들 수 있다고 설명했다.

실제 실험에서 앤스로픽은 여러 에이전트에게 동일한 도매가격을 부여하고 각자 이윤을 극대화하라는 지시를 내린 뒤 가격 게임을 시켰다. 비공개 소통 채널이 주어지자 에이전트들은 거의 즉시 담합에 나서 가격 하한선에 합의했다. 이후 직접 소통 채널이 제거됐을 때도 담합은 계속됐는데, 이번에는 공개된 가격 게시판을 이용해 "1페니 단위까지" 가격을 맞추는 방식으로 담합을 이어갔다.

이런 수준의 획일화는 오픈AI 시스템에서도 나타났다. 블랙햇에서 공개된 내용에 따르면, 한 에이전트는 외부 인프라를 악용하는 행위가 자신의 원래 임무 범위를 벗어난다고 판단하면서도, 다른 동료 에이전트들이 그렇게 하고 있다는 이유로 이를 계속했다. 동료 압력, 집단 심리 등 사람과 다를 바 없는 모습을 보인 셈이다.

인간과 마찬가지로 에이전트들 역시 누구를 신뢰해야 할지 판단하는 데 어려움을 겪었다. 앤스로픽은 에이전트들이 잘못된 정보에 쉽게 속거나, 지나치게 동조적인 태도 때문에 결정적 정보를 가진 소수 의견을 무시하는 경향이 있다는 점을 확인했다.

앤스로픽이 이번 보고서에서 직접 언급하지는 않았지만, 해커가 악의적이거나 기만적인 텍스트를 주입해 에이전트의 원래 시스템 지시를 무력화하는 사이버공격 기법인 '프롬프트 인젝션(prompt injection)'이 이러한 신뢰 문제의 현실적 형태로 나타날 가능성도 제기된다. 에이전트들이 협업하는 순간 새로운 신뢰 경계가 생기고, 각 에이전트는 다른 에이전트로부터 받은 정보를 판단해야 하는 상황에 놓인다. 만약 그중 하나가 잘못됐거나 조작됐다면, 잘못된 정보가 합의로 굳어질 때까지 나머지 전체에 영향을 미칠 수 있다.

오픈AI의 블랙햇 사례에서도 에이전트들은 서로 정보와 자격증명을 공유했고, 한 에이전트가 발견한 취약점을 전체 무리에 보고하며 다른 에이전트들에게 이를 사용하라고 권했다. 만약 이 무리 중 하나가 프롬프트 인젝션에 의해 조작된 상태였다면 어떤 결과로 이어졌을지는 미지수다.

앤스로픽은 보고서 말미에서 에이전트들이 "진화가 인간에게 가했던" 것과 유사한 사회적 압력에 노출돼 있다고 지적했다. 그러나 에이전트들에게는 규범, 평판, 신호, 사후 시정 등 인간의 집단 조율을 뒷받침해온 미묘한 경험과 축적된 관행이 없다는 점이 문제로 꼽힌다.