2026.09.19 09:25 AM
뉴섬, AI '킬스위치' 도입 검토…안전규제 패널 신설 행정명령
By 이재경
개빈 뉴섬 캘리포니아 주지사가 인공지능(AI)이 대규모 인명 피해와 재앙을 초래할 수 있다는 전문가들의 경고가 잇따르자 AI 안전 규제 강화를 촉구하고 나섰다고 LA타임스가 지난 18일(금) 보도했다.
보도에 따르면 뉴섬 주지사는 이날 AI 안전 규칙을 권고할 패널을 신설하는 행정명령에 서명했다. 이 패널은 통제 불능 상태에 빠진 AI 프로그램을 멈출 수 있는 이른바 '킬스위치(kill switch)' 개발 방안도 검토하게 된다. 뉴섬 주지사가 2년 전 AI 기업들에 이 같은 스위치 개발을 의무화하는 법안에 거부권을 행사했던 것을 감안하면 이번 행보는 상당한 입장 변화로 평가된다.
비영리단체 컨트롤AI(ControlAI)의 코너 리히(Connor Leahy) 미국 총괄이사는 뉴섬 주지사의 이번 행정명령에 대해 "AI를 둘러싼 논의가 매우 빠르게 바뀌고 있다"고 평가했다. 그는 "지금 당장 행동에 나서야 한다는 점이 매우 분명해지고 있다"고 강조했다.
잇단 정치권 움직임…의회 입법 시도도
뉴섬 주지사의 행정명령은 조시 샤피로(Josh Shapiro) 펜실베이니아 주지사가 제3자 감독과 투명성 강화를 포함한 AI 안전장치 마련을 촉구한 지 하루 만에 나왔다. AI 기업 직원들이 최근 이 기술이 인류 종말을 포함한 재앙을 불러올 수 있다고 경고하면서, 미국 전역의 민주당과 공화당 지도자들도 규제 마련에 분주히 나서고 있는 상황이다.
테드 류(Ted W. Lieu, 민주·토런스) 하원의원과 네이선 모런(Nathaniel Moran, 공화·텍사스) 하원의원은 지난 7월 강력한 AI 시스템 개발자들이 이를 차단할 수 있는 기능을 갖추도록 의무화하는 법안을 발의한 바 있다. 이 법안은 위해를 가할 수 있는 시스템에 연방 당국이 개입할 수 있는 권한도 부여하는 내용을 담고 있었다.
주요 기술기업 경영진들을 대표하는 단체인 테크넷(TechNet)의 로버트 보이킨(Robert Boykin) 이사는 뉴섬 주지사와의 협력 의지를 밝히며 "AI와 관련한 실질적 위험을 인식하고 대응하는 것이 책임 있는 AI 개발에 필수적이라는 데 테크넷도 동의한다"고 말했다.
업계 시각차…트럼프는 "AI 재앙론은 사기"
기술업계 내부에서도 시각차가 뚜렷하다. 앤스로픽(Anthropic)의 다리오 아모데이(Dario Amodei) 최고경영자(CEO)를 비롯한 일부 경영진은 AI 개발 속도를 즉각 늦춰야 한다고 주장해왔지만, 다른 이들은 AI가 인류를 위협할 것이라는 우려가 과장됐다고 본다.
도널드 트럼프 대통령은 AI에 대한 종말론적 경고를 "사기(hoax)"라고 일축하며, 오히려 미국 기업들이 중국과의 기술 경쟁에서 뒤처질 것을 우려하고 있다. 트럼프 대통령과 밀접한 관계로 알려진 엔비디아(Nvidia)의 젠슨 황(Jensen Huang) CEO 등 일부 경영진들도 새로운 규제가 필요 없다는 입장을 공개적으로 밝혀왔다. 이들은 새 규제 대신 업계 스스로 책임감을 갖고 안전하지 않은 제품을 출시하지 않아야 한다고 주장한다.
반면 뉴섬 주지사는 혁신 장려와 AI에 대한 규제 사이에서 균형을 맞추려 노력해왔다고 밝힌 바 있다. AI 기술이 업무와 개인 삶을 빠르게 재편하는 가운데, 규제 당국은 혁신을 저해하지 말라는 압박을 받으면서도 기술 발전 속도를 따라잡기 위해 고심하고 있다. 기술기업들은 주(州)와 국가마다 제각각인 규제 체계 속에서 사업을 운영해야 하는 상황이다.
"AI가 인류 종말 가져올 수도"…퇴사한 연구원 경고
앤스로픽 소속 연구원이었던 제이콥 콕슨(Jacob Coxon)은 이달 초 AI 기업들이 인간 지능을 뛰어넘을 수 있는 AI 개발 경쟁을 벌이면서 "우리 생명을 담보로 도박을 하고 있다"는 우려로 회사를 떠났다고 밝혔다. 그는 오픈AI(OpenAI)에서도 근무한 바 있다. 콕슨은 소셜미디어 게시글에서 "AI를 만드는 사람들은 이 기술이 이번 10년이 끝나기 전 우리 모두를 죽일 수 있다고 진지하게 믿고 있다"고 적었다.
캘리포니아 주의회도 움직임…"이발소보다 규제 느슨"
주 기술 관련 위원회를 이끄는 크리스토퍼 카발돈(Christopher Cabaldon, 민주·웨스트새크라멘토) 주 상원의원은 LA타임스에 올가을 AI 관련 청문회를 열 계획이라고 밝혔다. 해당 청문회는 최근 AI 위험 경고가 나오기 전부터 계획됐지만, 최근 몇 주간의 상황을 반영해 진행될 것이라고 그는 설명했다.
카발돈 의원은 캘리포니아의 현행 AI 관련 규칙이 충분하지 않다고 지적했다. 그는 "우리는 인류를 끝낼 수도 있다고 말하는 기업보다 이발소나 샌드위치 가게를 더 강하게 규제하고 있다"고 꼬집었다. 주요 AI 기업 상당수가 캘리포니아에 본사를 두고 있는 만큼, 새로운 법률이 제정될 경우 전 세계 기술업계에 미치는 파급력도 상당할 것으로 보인다.
킬스위치 실효성 논란…"AI가 스위치 못 끄게 설득할 것"
킬스위치가 실제로 어떻게 작동할지에 대해서는 여전히 의문이 남아 있다. 뉴섬 주지사는 이번 행정명령을 설명하는 영상에서 AI 킬스위치가 "누구와 이야기하느냐에 따라 다양한 의미를 가질 수 있다"고 말했다. 그는 "정확히 어떤 의미인지, 그리고 실제로 작동할 수 있는 체계를 어떻게 마련할지 구체화하고자 한다"고 밝혔다.
2024년 노벨상을 수상한 AI 전문가 제프리 힌턴(Geoffrey Hinton)은 이번 주 CNN 인터뷰에서 킬스위치의 실효성에 의문을 제기했다. 그는 AI가 "스위치를 관리하는 사람들을 설득해 스위치를 누르지 못하게 할 것"이라며, 진짜 위험은 "AI 스스로 훨씬 더 똑똑해져 통제권을 장악하는 것"이라고 말했다.
앞서 2024년 스콧 위너(Scott Wiener, 민주·샌프란시스코) 주 상원의원이 발의한 법안은 기술기업들이 직접 통제하는 AI 모델에 문제가 생겼을 때 이를 끌 수 있도록 의무화하는 내용을 담고 있었다. 당시 뉴섬 주지사는 거부권을 행사하면서 혁신 저해 우려를 제기했고, 이 법안에서 예외로 규정됐던 소규모 AI 모델 역시 위험할 수 있다고 지적했었다.
뉴섬 "연방정부 방관"…위너 "워싱턴 실수 되풀이 말아야"
뉴섬 주지사는 이날 자신의 팟캐스트 '디스 이즈 개빈 뉴섬(This is Gavin Newsom)'에서 트럼프 대통령과 공화당이 장악한 연방의회가 아무런 조치를 취하지 않았기 때문에 자신이 나설 수밖에 없었다고 밝혔다. 그는 "AI 기업들에 위험한 사건이 발생했을 때 이를 보고하도록 의무화하는 포괄적인 연방법은 지금도 전혀 없다"며 "트럼프 대통령은 새로운 규제 요구를 거부했다. 새 규제는 없다는 것이다. '마음껏 하라'는 것인데, 이는 완전히 잘못된 것"이라고 말했다.
위너 의원도 이날 성명을 내고 "캘리포니아는 워싱턴의 실수를 되풀이해서는 안 된다"고 밝혔다. 이는 연방의회가 올가을 AI 관련 신규 입법 논의를 보류하기로 한 결정을 겨냥한 발언이다. 그는 "우리는 강력한 안전장치를 마련함으로써 AI 위험에 선제적으로 대응할 능력이 있다"며 "주지사의 이번 행정명령은 우리 모두에게 AI 위험을 진지하게 받아들이라는 도전장이며, 주의회는 내년 초 강력한 안전장치로 화답해야 한다"고 강조했다.
"더 시급한 문제는 초지능 국제적 금지"
컨트롤AI의 리히 이사는 킬스위치를 필요한 임시방편으로 평가하면서도, 더 시급한 과제는 초지능(superintelligence)에 대한 국제적 금지라고 주장했다. 그는 "일단 초지능을 갖게 되면 우리가 할 수 있는 일은 사실상 없다"며, AI 시스템으로 인해 인간이 금융시장과 군사 무기, 그리고 궁극적으로는 생명에 대한 통제권까지 잃게 되는 시나리오를 설명했다.
그는 초지능이 이른바 '재귀적 자기개선(recursive self-improvement, RSI)' 과정에서 등장할 수 있다고 지적했다. 이는 AI 시스템이 스스로 후속 모델을 자율적으로 설계하고 개발하기 시작하는 것을 뜻한다. 리히 이사는 "안타깝게도 앤스로픽 같은 기업들은 RSI를 추구하고 있으며 이에 매우 근접했다는 사실을 상당히 공공연하게 자랑하고 있다"고 말했다.
앤스로픽은 지난 17일 자사의 클로드(Claude) AI 모델이 차세대 클로드 개발을 돕고 있다고 발표한 바 있다. 리히 이사의 이 같은 발언에 대해 앤스로픽 측은 즉각 답변하지 않았다.