구글 내부 강화학습(Internal RL) 발표: LLM 추론의 한계를 넘다

100만 분의 1의 확률을 뚫는 추론 능력이 열린다. 구글(Google) 연구진이 기존 대규모 언어 모델(LLM)의 고질적인 문제인 환각과 복잡한 문제 해결 능력 부족을 해결할 새로운 기술을 공개했다. '다음 토큰 예측(Next-token prediction)'이라는 전통적인 방식 대신, 모델 내부의 신경망 활성화를 직접 조절하는 내부 강화학습(Internal RL) 기법이 그 주인공이다.

구글 내부 강화학습(Internal RL)이 해결한 토큰 예측의 한계

지금까지의 LLM은 문장을 한 단어씩 생성하며 다음 단어를 맞추는 방식으로 학습해 왔다. 하지만 로이터에 따르면, 이러한 방식은 단계가 많은 복잡한 업무에서 치명적인 한계를 보인다. 단어 하나를 잘못 선택할 때마다 오류가 누적되어 전체 논리가 무너지기 때문이다. 연구진은 모델이 무작위 토큰 샘플링을 통해 올바른 다단계 해결책을 찾아낼 확률이 100만 분의 1 수준에 불과하다고 지적했다.

로보틱스와 코딩 에이전트의 새로운 돌파구

연구팀은 GRPO와 같은 기존 강화학습 알고리즘이 실패했던 복잡한 환경에서 실험을 진행했다. 네발로 걷는 '앤트(Ant)' 로봇 제어와 같은 고난도 작업에서 내부 강화학습은 적은 학습 횟수로도 높은 성공률을 기록했다. 특히 기본 모델을 고정한 채 메타 컨트롤러만 학습시키는 방식이 가장 효율적이었다는 점이 주목할 만하다.