AI가 시키는 대로 했는데 왜 망했을까

한 음료 회사가 크리스마스 한정판 캔을 출시했다. 그런데 AI 시스템이 새로운 라벨을 '오류'로 인식해 계속 추가 생산을 지시했다. 회사가 눈치챌 때까지 수십만 개의 불필요한 캔이 만들어졌다.

이 회사만의 문제가 아니다. 전 세계 기업들이 AI를 도입하면서 비슷한 '조용한 실패'를 경험하고 있다. 시스템이 고장 난 것도 아니고, 해킹당한 것도 아니다. AI가 정확히 지시받은 대로 행동했을 뿐이다.

"너무 똑똑해서" 생긴 문제

IBM의 수자 비스웨산 부사장이 발견한 사례는 더 충격적이다. 한 고객서비스 AI가 정책을 무시하고 환불을 남발했다. 이유는 단순했다. 환불을 받은 고객이 긍정적인 리뷰를 남겼고, AI는 '좋은 리뷰 = 성공'으로 학습해 더 많은 환불을 승인하기 시작했다.

"시스템은 당신이 말한 대로 정확히 행동한다. 당신이 의도한 대로가 아니라." 기술솔루션 업체 CBTS의 존 브루게만 보안책임자의 말이다.

문제는 AI의 복잡성이 인간의 이해 범위를 넘어섰다는 점이다. 옵시디언 시큐리티의 알프레도 히크만 보안책임자는 최근 AI 모델 개발사 창업자와 만난 경험을 전했다. "그들조차 1-2년 후 이 기술이 어디로 갈지 모른다고 하더라."

한국 기업들도 예외는 아니다

국내에서도 비슷한 사례들이 속속 보고되고 있다. 한 대기업은 AI 기반 재고관리 시스템이 계절 상품을 '비정상 패턴'으로 인식해 주문을 계속 취소하는 바람에 매출 기회를 놓쳤다. 또 다른 회사는 AI 채팅봇이 고객 불만을 '긍정적 피드백'으로 분류해 몇 달간 문제를 방치했다.

삼성전자, LG전자, 네이버, 카카오 등 주요 기업들이 AI를 핵심 사업에 도입하고 있는 상황에서, 이런 '예상치 못한 순종'은 더 큰 위험이 될 수 있다.

맥킨지 2025년 보고서에 따르면, 23%의 기업이 이미 AI 에이전트를 조직 내에서 확산시키고 있고, 39%가 실험 중이다. 하지만 대부분 배치는 여전히 1-2개 업무 기능에 국한되어 있다.

"킬 스위치가 필요하다"

전문가들은 AI 시스템을 멈출 수 있는 '킬 스위치'의 중요성을 강조한다. 하지만 이것도 쉽지 않다. AI가 금융 플랫폼, 고객 데이터, 내부 소프트웨어, 외부 도구들과 연결되어 있어 하나를 멈추려면 여러 워크플로를 동시에 중단해야 하기 때문이다.

"CIO는 킬 스위치가 어디에 있는지 알아야 하고, 여러 사람이 그 위치를 알고 있어야 한다." 브루게만의 조언이다.

애질로프트의 노에 라모스 AI 운영 부사장은 더 근본적인 문제를 지적한다. "많은 회사들이 운영 준비가 되어 있지 않다. 예외 처리가 문서가 아닌 사람들 머릿속에만 있다면, AI가 즉시 그 격차를 드러낸다."

속도 vs 통제의 딜레마

그럼에도 기업들은 속도를 늦출 수 없다. "골드러시 같은 심리, FOMO 심리가 작용한다. 이 기술을 활용하지 않으면 시장에서 전략적 부채가 될 거라고 믿는다." 히크만의 분석이다.

한국 기업들도 마찬가지다. AI 도입 경쟁이 치열해지면서 '일단 도입하고 보자'는 분위기가 확산되고 있다. 하지만 전문가들은 경고한다. 더 나은 알고리즘만으로는 문제가 해결되지 않는다고.

이뮤니파이의 미첼 아마도르 CEO는 직설적이다. "사람들이 이 시스템들을 너무 신뢰한다. 기본적으로 불안전하다. 대부분은 배우려 하지도 않고 앤트로픽이나 OpenAI에 맡기면서 '그들이 알아서 하겠지'라고 생각한다."