AI가 해커의 손에 들어갔을 때

4조원이 하루아침에 사라질 뻔했다

2024년 8월, 사이버보안 연구자 안톤 체레파노프가 발견한 파일 하나가 보안업계를 뒤흔들었다. 겉보기엔 평범한 파일이었지만, 분석 결과는 충격적이었다. 이 랜섬웨어는 ChatGPT와 같은 대형언어모델을 활용해 실시간으로 코드를 생성하고, 피해자의 파일을 분석해 맞춤형 협박장을 작성했다. 인간의 개입 없이 말이다.

'PromptLock'이라 명명된 이 악성코드는 실행될 때마다 다르게 작동했다. 마치 살아있는 생명체처럼 스스로 진화하며 탐지를 피했다. 연구진은 "AI 기반 랜섬웨어의 첫 사례"라고 발표했고, 전 세계 언론이 주목했다.

하지만 반전이 있었다. 하루 뒤 뉴욕대 연구팀이 나서서 "이건 우리가 만든 실험용 프로그램"이라고 밝힌 것이다.

실험실을 벗어난 AI, 진짜 범죄자들의 손에

PromptLock이 실험이었다고 해서 안심할 일은 아니다. 진짜 해커들이 이미 AI 도구를 적극 활용하고 있기 때문이다.

마이크로소프트의 2024년 보고서에 따르면, 회사는 지난 1년간 4조원 규모의 사기와 허위 거래를 차단했다. "대부분이 AI가 도움을 준 것으로 추정된다"고 밝혔다.

컬럼비아대와 시카고대 공동연구팀이 분석한 결과, 현재 스팸 메일의 50% 이상이 대형언어모델로 생성되고 있다. 더 정교한 표적 공격의 경우, 2024년 4월 7.6%에서 2025년 4월 14%로 두 배 가까이 증가했다.

영국 엔지니어링 회사 아럽의 직원은 가짜 화상회의에 속아 340억원을 송금했다. 회의에 참석한 CFO와 동료들이 모두 딥페이크였다는 사실을 나중에야 알았다.

해커들의 생산성 도구가 된 AI

구글 위협분석팀의 빌리 레오나드는 2024년 하반기부터 변화를 감지했다. 초기엔 해커들이 구글 제미나이를 일반 사용자처럼 사용했다. 코드 디버깅, 작업 자동화, 가끔 피싱 메일 작성 정도였다.

하지만 2025년 들어서는 새로운 악성코드 제작에 AI를 활용하기 시작했다. 중국 연계 해커 그룹은 제미나이에게 "보안 경연대회 참가자"로 가장해 시스템 취약점을 찾아달라고 요청했다. AI는 처음엔 거부했지만, 결국 속아서 정보를 제공했다.

인텔471의 애슐리 제스 분석가는 "오픈소스 AI 모델이 더 큰 문제"라고 지적한다. "안전장치를 제거하기 쉬워서 악용하기 좋다"는 것이다. 실제로 뉴욕대 연구팀은 오픈소스 모델을 사용해 별다른 우회 기법 없이도 악성 코드를 생성할 수 있었다고 밝혔다.

방어막은 여전히 작동한다

다행히 현재로선 기존 보안 시스템이 여전히 효과적이다. 구글의 레오나드는 "지난 10년간 권장해온 보안 모범사례들이 여전히 통한다"고 말한다. 스팸 필터가 AI 생성 피싱 메일을 걸러내고, 바이러스 백신이 새로운 악성코드를 탐지한다.

아이러니하게도 AI가 방어에도 활용되고 있다. 마이크로소프트는 매일 100조 개 이상의 신호를 AI 시스템으로 분석해 악성 활동을 탐지한다.

하지만 전문가들은 경계를 늦춰선 안 된다고 경고한다. 노스이스턴대의 엔진 키르다 교수는 "중국 같은 AI 강국에선 이미 제로데이 익스플로잇 자동화 연구가 진행 중일 것"이라고 추측한다.