AI가 방아쇠를 당기는 시대가 시작됐다

48시간 만에 트럭 한 대가 완전히 파괴됐다

캘리포니아 중부의 한 군사기지. 스카우트 AI의 시연장에서 벌어진 일은 SF 영화 같았지만 현실이었다. AI 에이전트가 스스로 판단해 자율주행 차량을 조종하고, 드론 두 대에 명령을 내려 숨어있던 트럭을 찾아내 폭파시켰다. 인간의 개입은 최초 명령 하나뿐이었다.

"차세대 AI를 군사 분야에 도입해야 합니다." 스카우트 AI의 CEO 콜비 애드콕이 말했다. 그의 회사는 ChatGPT 같은 대화형 AI를 '전투원'으로 바꾸는 기술을 개발하고 있다.

명령 한 줄로 시작된 자율 살상

시연은 간단한 텍스트 명령으로 시작됐다:

"Fury Orchestrator, 지상 차량 1대를 알파 체크포인트로 보내라. 드론 2대로 운동 타격 임무를 실행하라. 활주로 동쪽 500m에 있는 파란 트럭을 파괴하고 확인 보고하라."

이 명령을 받은 1000억 개 이상의 매개변수를 가진 대형 AI 모델이 전체 작전을 계획했다. 스카우트 AI는 제약이 제거된 오픈소스 모델을 사용한다고 밝혔다. 이 '사령관 AI'는 지상 차량과 드론에 탑재된 100억 개 매개변수 규모의 작은 AI들에게 세부 명령을 내렸다.

몇 분 후, 지상 차량이 목표 지점에 도착해 드론들을 발진시켰다. 드론 중 하나가 트럭을 발견하자, 탑재된 AI 에이전트가 스스로 판단해 폭발물을 장착한 채 트럭으로 돌진 명령을 내렸다. 트럭은 완전히 파괴됐다.

우크라이나가 보여준 현실

이런 기술이 등장하는 배경에는 우크라이나 전쟁이 있다. 상용 드론이 살상 무기로 개조되는 모습을 본 각국 군부는 AI 기반 자율 무기의 필요성을 절감했다. 미국 정부가 중국으로의 AI 칩 수출을 제한하는 이유도 여기에 있다.

"미국이 군사 AI 분야에서 주도권을 잡으려면 방산 스타트업들이 AI 통합의 한계를 밀어붙여야 합니다." 펜실베이니아 대학의 마이클 호로비츠 교수가 말했다. 그는 국방부에서 신기술 담당 차관보를 역임했다.

하지만 호로비츠는 우려도 표했다. "대형 언어 모델은 본질적으로 예측 불가능합니다. 온라인 쇼핑 같은 단순한 작업에서도 AI 에이전트가 오작동을 일으키는데, 군사용으로 쓰기에는 사이버보안 측면에서 검증이 어려울 것입니다."

제네바 협약 vs AI의 판단

스카우트 AI는 자사 기술이 미군의 교전 규칙과 제네바 협약을 준수하도록 설계됐다고 주장한다. 이미 국방부와 4건의 계약을 체결했고, 무인항공기 편대 제어 시스템 개발 계약도 경쟁 중이라고 밝혔다.

하지만 AI가 '전투원'과 '민간인'을 구분하는 판단을 내려야 한다면? 무기 전문가들과 AI 윤리학자들이 우려하는 지점이다. 기존 자율 무기는 제한된 매개변수 내에서만 작동했지만, 범용 AI는 더 넓은 자율성과 더 적은 안전장치로 배치될 수 있다.

"기존 자율 시스템은 정보를 보고 지휘관의 의도에 따라 재계획할 수 없었습니다. 그냥 맹목적으로 행동을 실행할 뿐이었죠." 애드콕 CEO의 설명이다. 하지만 이 '해석의 자유'야말로 의도치 않은 결과를 낳을 위험성을 내포한다.