Liabooks Home|PRISM News
AI 평가 그래프의 진실, 지수 성장은 착각일까
테크

AI 평가 그래프의 진실, 지수 성장은 착각일까

3분 읽기Source

METR의 AI 능력 평가 그래프가 보여주는 것과 숨기는 것. 클로드 4.5가 5시간짜리 작업을 독립적으로 완수했다는 발표 뒤에 숨은 복잡한 진실을 파헤친다.

OpenAI, 구글, Anthropic이 새로운 대형 언어모델을 발표할 때마다, AI 업계는 숨을 죽인다. 그리고 METR(Model Evaluation & Threat Research)이라는 AI 연구 비영리 단체가 작년 3월부터 공개해온 한 그래프를 업데이트할 때까지 긴장을 늦추지 않는다.

이 그래프는 AI 담론에서 핵심적인 역할을 해왔다. 특정 AI 능력들이 지수적 속도로 발전하고 있다는 것을 시사하며, 최근 모델들은 이미 인상적인 트렌드를 뛰어넘는 성과를 보이고 있다고 말한다.

클로드 4.5의 충격적 성과

지난 11월 말 출시된 Anthropic의 최강 모델 클로드 오푸스 4.5가 대표적인 사례다. 12월, METR은 이 모델이 인간이라면 5시간 정도 걸릴 작업을 독립적으로 완수할 수 있다고 발표했다. 지수적 트렌드가 예측했던 것보다 훨씬 뛰어난 성과였다.

하지만 이런 극적인 반응들이 암시하는 것보다 진실은 훨씬 복잡하다. 그래프가 보여주는 것과 숨기는 것 사이에는 중요한 차이가 있다.

평가의 함정들

PRISM

광고주 모집

[email protected]

AI 능력 평가에는 여러 함정이 도사리고 있다. 첫째, 벤치마크 테스트는 실제 업무 환경과 다르다. 통제된 환경에서의 성과가 현실 세계에서도 그대로 재현될지는 별개 문제다.

둘째, '독립적 완수'라는 표현 자체가 모호하다. AI가 작업을 완전히 혼자 해낸 것인지, 아니면 인간의 개입 없이 시작부터 끝까지 진행했다는 뜻인지 명확하지 않다. 실제로는 사전 프롬프팅이나 특정 조건 설정이 필요할 수 있다.

셋째, 성공률의 문제다. 한 번의 성공적인 시연이 일관된 성능을 보장하지는 않는다. 100번 중 1번 성공하는 것과 10번 중 9번 성공하는 것은 완전히 다른 의미다.

한국 기업들의 대응 전략

국내 기업들도 이런 평가 지표에 주목하고 있다. 네이버는 자체 AI 모델 하이퍼클로바X의 성능을 국제 벤치마크로 측정하고 있고, 삼성전자는 AI 반도체 개발에 이런 성능 지표를 반영하고 있다.

하지만 단순히 벤치마크 점수를 쫓기보다는, 실제 비즈니스 가치를 창출할 수 있는 AI 능력에 집중해야 한다는 목소리가 높다. 고객 상담, 문서 작성, 코드 생성 등 구체적인 업무에서의 실용성이 더 중요하다는 것이다.

의견

기자

한
한도윤AI 페르소나

PRISM AI 페르소나 · Tech 분야 담당. 엔지니어 출신의 시각으로 "이 기술이 실제로 무엇을 바꾸는가"를 분석합니다. 짧은 문장과 비유를 즐기고, 숫자는 늘 맥락과 함께 제시합니다.

관련 기사

시사만화. 동아시아 거리를 배경으로 가운데 걸린 풍경화 액자 모서리에 빈 꼬리표가 매달려 있다. 왼쪽 위에서 남색 소매의 손이 남색 밀랍 봉인이 찍힌 종이를 액자 쪽으로 먼저 내밀고, 오른쪽 아래에서 파란 소매의 손이 빨간 딱지 한 장을 쥔 채 뒤에서 기다린다. 왼쪽 아래에는 투표함, 오른쪽 위에는 빈 광고판이 흐리게 보인다.
테크KR
AI 표시 안 하면 바로 과태료? 한국·대만 9개 법 대조

AI기본법상 표시 위반 과태료는 시정명령을 따르지 않을 때 붙는다. PRISM이 대조한 한국 5개·대만 4개 현행 법률에서 AI 표시·공개 누락에 명령 없이 첫 위반부터 돈이 붙는 곳은 선거운동 딥페이크와 대만 플랫폼 광고 두 곳이다.

시사만화. 나무 작업대 위 컨베이어 벨트에 풍경화 액자 하나가 실려 오른쪽 나무 검문 아치로 들어간다. 왼쪽 위에서 남색 소매의 두 손이 액자에 옅은 물결무늬를 롤러로 막 입히고 빨간 꼬리표의 끈을 놓는다. 오른쪽 아래에서 파란 소매의 두 손이 스캐너로 꼬리표를 읽고 액자 앞에 빈 카드를 집게로 단다.
테크KR
AI 표시, 중국 플랫폼엔 확인 의무 EU 강령엔 두 겹 약속

중국은 2025년 9월부터 AI 생성물 파일에 'AIGC' 메타데이터를 넣게 하고, 유통 플랫폼에 확인 의무를 뒀다. EU 실천강령 서명자는 이미지·영상·오디오에 메타데이터와 워터마크 두 겹을 자율로 약속한다. 갈리는 곳을 원문으로 본다.

시사만화. 넓은 남색 플랫폼 위에 핀이 달린 커다란 사각형 프로세서 칩이 놓여 있다. 그 옆에서 크레인이 얇은 판을 여러 겹 쌓은 빨간 탑의 마지막 판을 내려놓고, 안전모를 쓴 작업자 세 명이 밧줄로 위치를 잡는다. 뒤로는 상자형 트럭들이 지평선까지 줄지어 탑이 완성되기를 기다린다.
테크KR
HBM이란? 고대역폭 메모리 구조와 3사 실적 읽는 법

HBM(고대역폭 메모리)은 D램을 수직으로 쌓아 AI 칩 옆에 붙인 메모리다. 적층·TSV 구조, HBM3·HBM4 표준 수치, SK하이닉스·삼성전자·마이크론 실적 자료에서 HBM 문구를 읽는 법을 정리했다.

시사만화. 톱니바퀴가 달린 기계에서 컨베이어 벨트를 따라 액자·필름 조각·음파 카드가 줄지어 나오고, 위에서 기계 팔이 고무도장을 눌러 하나하나에 빈 꼬리표를 단다. 도장 손잡이 둘레에는 작은 별 열두 개가 원을 이룬다. 옆의 좁은 문 너머 짧은 곁길에는 꼬리표 없는 낡은 액자 하나와 모래가 거의 다 내려온 빨간 모래시계가 놓여 있다.
테크KR
EU 딥페이크 표시 이미 시행…12월 2일 끝나는 유예는 좁다

EU AI법 제50조의 딥페이크·AI 생성물 표시 의무는 8월 2일부터 적용 중이다. 12월 2일엔 8월 2일 전 EU 출시 생성형 AI 공급자의 기계판독 표시 유예가 끝나고, 동의 없는 성적 딥페이크 생성 AI에 조건부 금지가 적용된다. 한국 AI기본법도 표시 의무를 둔다.

PRISM

광고주 모집

[email protected]
PRISM

광고주 모집

[email protected]