2026.08.25 08:50 PM
오픈AI, 자체 추론칩 '할라피뇨' 벤치마크 첫 공개…"엔비디아 블랙웰보다 효율적"
By 이재경
오픈AI(OpenAI)가 지난 24일 열린 '핫칩스(Hot Chips)' 콘퍼런스에서 자체 개발 추론용 반도체 '할라피뇨(Jalapeño)'에 대한 상세 정보와 첫 벤치마크 결과를 공개했다고 IT전문매체인 테크크런치가 25일(화) 보도했다.
보도에 따르면 할라피뇨는 세미애널리시스(SemiAnalysis)의 추론 성능 평가 도구 '인퍼런스X(InferenceX)' 테스트에서 현재 상용화된 최신 추론 프로세서보다 사용자당 처리 토큰 수와 킬로와트당 처리량(throughput) 모두에서 앞선 결과를 냈다.
오픈AI의 하드웨어 총괄 리처드 호(Richard Ho)는 언론 콘퍼런스콜에서 "결론적으로 이번 결과는 기존 최고 수준(state of the art) 대비 매우, 매우 의미 있는 성능 향상을 보여준다"고 말했다. 그는 "할라피뇨는 전력 단위당 더 많은 AI 작업을 처리하면서도 응답 속도는 더 빠르다"며 "많은 고객을 서비스하는 데 매우 효율적이지만 동시에 매우 낮은 지연시간(latency)을 구현할 수 있다"고 설명했다.
다만 이번 비교 대상은 엔비디아(Nvidia)의 블랙웰(Blackwell) 시스템으로, 할라피뇨가 완전한 상용 배치 단계에 이를 때쯔음에는 경쟁 제품들도 상당히 발전해 있을 가능성이 있다고 테크크런치는 짚었다. 호는 할라피뇨가 2026년 말 "매우 소규모 물량"으로 먼저 배치되고, 이후 2027년에 들어서야 본격적인 규모의 배치가 이뤄질 것으로 예상한다고 밝혔다.
할라피뇨는 지난해 10월 처음 공개됐으며, 오픈AI가 브로드컴(Broadcom)과 긴밀히 협력해 개발했다. 개발 과정에는 오픈AI 자체 AI 모델이 보조적으로 활용된 것으로 전해졌다. 오픈AI는 할라피뇨를 단일 세대 제품이 아니라 여러 세대에 걸쳐 이어지는 플랫폼으로 만들 계획이며, AI 제품과 모델, 칩, 메모리를 모두 함께 개발하는 방식을 추구하고 있다고 밝혔다.
이 같은 '풀스택(full-stack)' 개발 방식 덕분에 오픈AI는 추론 처리 과정에서 병목을 유발하는 특정 단계들을 구체적으로 겨냥해 문제를 해결할 수 있었다고 설명했다. 특히 할라피뇨는 추론 처리 중 프리필(prefill) 단계와 통신 단계에서 발생하는 지연을 최소화하도록 설계됐으며, 오픈AI는 이 두 단계가 종종 병목 지점으로 작용한다고 지적했다.
오픈AI는 결과를 소개한 블로그 게시물에서 "우리는 데이터 이동과 통신 지연을 최소화하도록 할라피뇨를 설계했다"고 밝혔다. 이어 "이는 응답 생성 과정에서 사용되는 KV 캐시를 포함한 모델 상태(model state)를 명시적으로 배치하고 로컬에 유지하면서, 각 추론 단계에 맞는 컴퓨트·메모리·네트워킹의 적절한 조합을 시스템이 활성화할 수 있다는 의미"라고 덧붙였다.