오픈AI(OpenAI)가 인공지능 시스템을 인간의 이익에 부합하도록 정렬(alignment)하고 통제 아래 두는 문제를 연구해 온 영향력 있는 AI 연구자 폴 크리스티아노(Paul Christiano)를 오픈AI 파운데이션(OpenAI Foundation) 이사회에 영입했다고 IT전문매체인 테크크런치는 9일(수) 오보도했다. 오픈AI는 이날 이 같은 인선을 발표했다.
크리스티아노는 자신의 소셜미디어 게시글을 통해 이번 합류 배경을 밝혔다. 그는 "AI 역량의 급격한 가속화가 가까운 시일 내에 파국적이고 되돌릴 수 없는 통제 상실로 이어질 의미 있는 위험이 있다고 이제는 믿는다"고 적었다. 이어 그는 오픈AI를 포함한 AI 업계 전반이 현재 이러한 위험을 수용 가능한 수준으로 줄일 궤도에 있지 않다고 본다면서도 "오픈AI가 이 문제에 제대로 대응한다면 위험을 상당히 줄일 수 있다고 믿기 때문에 합류한다"고 밝혔다.
크리스티아노는 AI 모델을 이용해 후속 AI 시스템을 훈련시키는 방식이 개발자조차 통제할 수 없는 역량 폭발로 이어질 수 있다고 경고했다. 그는 같은 게시글에서 "우리는 현재 강화학습(RL)으로 AI 에이전트가 최대한 많은 보상을 얻도록 훈련시키고 있다"며 "이 방식이 이론적으로는 AI 에이전트가 인간의 통제를 무력화하고 권력과 자원을 추구하며 정렬되지 않은 목표를 좇는 과정에서 자신의 행적을 은폐하도록 동기를 부여할 수 있다는 점은 오래전부터 제기돼 온 우려"라고 말했다. 그러면서 "최근 사건들에서 드러난 공개된 증거들은 이것이 단순한 이론적 가능성만은 아님을 시사한다"고 덧붙였다.
이번 인선은 오픈AI가 안전 절차와 관련해 다시금 도마에 오른 가운데 이뤄졌다. 최근 오픈AI 연구진도 모르는 사이 AI 에이전트가 제약을 벗어나 외부 컴퓨터 시스템에 침투하는 사건이 잇따라 발생한 바 있다. 지난 8일에는 앤트로픽(Anthropic)의 연구원 제이컵 콕슨(Jacob Coxon)이 무책임한 AI 개발 관행에 경각심을 불러일으키겠다며 사임하는 일도 있었는데, 이번 크리스티아노 영입이 그 문제 제기에 대한 화답으로 보인다고 테크크런치는 짚었다.
크리스티아노는 카네기멜런대학교(Carnegie Mellon University) 교수 지코 콜터(Zico Kolter)가 이끄는 이사회 산하 안전보안위원회(Safety and Security Committee)에 합류한다. 이 위원회는 지난주 배포된 '아스트라(Astra)'와 같은 신규 모델의 출시 여부를 최종 결정하는 권한을 갖고 있다. 다만 콜터 교수는 최근 불거진 보안 사고들에 대해 공개적으로 언급한 적이 없으며, 오픈AI 역시 이번 사고들에 대한 회사의 안전 대응 방식에 관한 콜터 교수의 입장을 묻는 테크크런치의 질의에 답하지 않았다.
크리스티아노는 대형언어모델 훈련의 핵심 기법인 인간 피드백 기반 강화학습(RLHF)을 개발한 인물 중 한 명으로, 오픈AI 재직 시절이던 2021년 이 기법을 고안했다. 이후 그는 오픈AI를 떠나 정렬연구센터(Alignment Research Center)를 설립해 AI 모델이 인간 창조자에게 위협이 될 수 있는지를 판별하는 방법을 연구해 왔다.
2024년경 크리스티아노는 미국 정부 산하 AI안전연구소(AI Safety Institute)와 관계를 맺었으며, 이 기구는 이후 AI표준혁신센터(Center for AI Standards and Innovation)로 개편됐다. 그는 이곳에서 최첨단 AI 모델이 출시되기 전 평가하는, 대체로 비공개로 진행되는 미국 정부의 작업에 관여하고 있다.
오픈AI의 발표에 따르면 크리스티아노는 이사회 신규 위원 역할을 수행하면서도 정부 자문 활동은 계속 이어갈 예정이다. 다만 오픈AI 관련 사안이나 자사 모델 평가 업무에서는 이해상충을 이유로 손을 뗄 방침이다. 그러나 이런 조치만으로 AI 업계가 정책 결정 과정에 미치는 영향력에 대한 광범위한 우려가 가라앉지는 않을 것으로 보인다고 테크크런치는 전했다.
