AI는 의식이 없다, 그래서 더 위험하다

어느 컨설턴트가 AI와 함께 보고서를 썼다. 결과물은 빠르고 매끄러웠다. 그런데 정작 클라이언트의 핵심 문제를 짚어내지 못했다. AI가 틀린 게 아니었다. 인간이 판단을 내려놓은 것이었다.

지금 전 세계에서 가장 뜨거운 AI 논쟁은 이것이다: AI는 의식이 있는가? 신경과학자 아닐 세스(Anil Seth)는 버그루엔상 수상 에세이 「의식적 AI의 신화」에서 단호하게 답한다. 없다. 뇌는 고기로 만든 튜링 기계가 아니고, 실리콘은 생물학적 의식을 재현할 수 없다. 논리는 탄탄하고, 결론은 안심을 준다. 인간이 정점에 있고, 기계는 도구이며, 의식은 생물학적 막 안에 안전하게 담겨 있다.

그런데 이 안도감이 우리가 놓치고 있는 더 위험한 질문을 가린다.

의식 논쟁이 숨기고 있는 것

세스의 에세이는 AI가 무엇인지를 묻는다. 하지만 정작 중요한 질문은 따로 있다. 인간과 AI가 함께 일할 때, 그 배열(arrangement)이 무엇을 만들어내는가? 인간의 판단력은 그 과정에서 성장하는가, 아니면 조용히 소멸하는가?

이 질문이 왜 지금 중요한가. 스탠퍼드, 베스 이스라엘 디코니스 메디컬 센터, 버지니아대학교가 공동으로 진행한 무작위 임상시험 결과가 하나의 단서를 준다. GPT-4를 제공받은 의사들은 AI 없이 일한 의사들보다 진단 정확도가 유의미하게 높지 않았다. 반면 GPT-4 단독으로는 두 그룹 모두를 15% 이상 앞섰다. 같은 AI, 같은 임무, 결과는 딴판이었다.

그러나 협업 구조를 다시 설계했을 때 — 의사와 AI가 각자 독립적으로 판단을 내린 뒤 불일치를 구조화된 대화로 풀어가도록 했을 때 — 진단 정확도는 AI 없이 75%이던 것이 82~85%로 올라갔다. 데이터가 바뀐 게 아니었다. 인간의 판단이 살아 있는 구조냐, 아니냐의 차이였다.

스톡홀름 경제대학과 제네바대학 연구팀이 제약 영업 전문가들에게 같은 AI 시스템을 배포했을 때도 결과는 극명하게 갈렸다. 전문가의 인지 방식에 맞춰 AI를 설계했을 때 고객 미팅은 40% 이상, 매출은 16% 증가했다. 반면 구조 없이 AI를 그냥 얹었을 때는 매출이 AI를 쓰지 않은 기준선보다 약 20% 하락했다. AI가 없는 것보다 나빴다.

하버드, MIT, 와튼스쿨, 워릭대가 공동으로 BCG 컨설턴트 758명을 대상으로 한 연구는 더 날카로운 경고를 던진다. AI가 잘 처리할 수 있는 과제에서는 AI 활용 그룹이 완료율 12% 향상, 속도 25% 단축, 품질 40% 향상을 기록했다. 그러나 인간의 판단이 필수적인 과제에서는 AI를 사용한 컨설턴트들이 혼자 일한 동료들보다 유의미하게 낮은 성과를 냈다. AI가 실패한 게 아니었다. 인간이 판단을 내려놓은 순간, 배열이 무너진 것이었다.

광고

광고주 모집

[email protected]

광고

두 번째 신화: 자동화는 언제나 효율이다

세스가 지적한 첫 번째 신화 — AI에게 의식을 과잉 귀속하는 것 — 는 철학적으로 흥미롭다. 그러나 월요일 아침 회의실에서 더 많은 피해를 입히는 건 두 번째 신화다. 인간을 루프에서 빼는 것이 언제나 효율 향상이라는 믿음.

이 신화는 스스로를 신화라고 부르지 않는다. ROI 계산서로, 인력 감축 목표로, 생산성 대시보드로 포장되어 나타난다. 더 교묘하게는 '증강(augmentation)'이라는 단어를 달고 온다. 지난 2년간 주요 AI 플랫폼이 출시한 에이전트 프레임워크, 코딩 에이전트, 리서치 에이전트는 하나같이 같은 방향을 가리킨다. AI가 더 많이, 인간이 더 적게. 어떤 플랫폼도 인간의 역량이 자라는지 줄어드는지를 측정하지 않는다.

2025년 2월앤트로픽 경제 지수가 클로드와의 대화 100만 건 이상을 분석한 결과는 의미심장하다. 사람들이 AI와 함께 생각하는 비율이 57%, AI에게 일을 맡기는 비율이 43%였다. 개인 사용자들은 여전히 AI를 '생각의 파트너'로 쓰는 경향이 강하다. 그러나 조직은 반대 방향으로 달린다. 역량 개발의 근육은 없고, 비용 절감의 근육만 있기 때문이다.

경제사학자 칼 베네딕트 프레이는 저서 「기술의 덫」에서 이 패턴이 반복됨을 보여준다. 1차 산업혁명은 '엥겔스의 정체기'를 낳았다 — 노동자 1인당 생산성이 46% 오르는 동안 임금은 12%만 올랐다. 2차 산업혁명은 광범위한 번영을 만들었다. 3차는 임금 정체와 불평등 심화를 동반했다. 차이는 기술이 아니라 제도였다. 증강의 틀을 만든 사회는 부를 나눴고, 자동화에 기본값을 둔 사회는 부를 집중시켰다.

한국 기업에게 무엇을 묻는가

이 논의는 한국 기업 현실과 직결된다. 삼성, 현대, 네이버, 카카오 같은 대기업들이 AI 도입을 가속화하는 지금, 그 도입이 어떤 구조로 이루어지느냐가 핵심 변수다. AI를 '업무 자동화 도구'로 도입하는 기업과 '판단력 증폭 인프라'로 설계하는 기업 사이에는, BCG 연구가 보여주듯, 성과에서 극명한 격차가 생긴다.

교육 현장도 마찬가지다. 학생들이 AI로 과제를 '완성'하는가, 아니면 AI와 함께 '생각'하는가. 그 차이가 10년 뒤 판단력의 차이로 이어진다. 높은 교육열을 가진 한국 사회가 정작 '어떻게 AI와 함께 생각을 키울 것인가'라는 질문에 답을 준비하고 있는지는 불분명하다.

EU AI법 제14조는 고위험 AI 시스템에 대한 인간의 실질적 감독을 의무화했다. 시행 시한은 이미 2026년 8월에서 2027년 12월로 밀렸다. '인간 중심 AI'라는 말은 정책 문서에 넘치지만, 그것을 실제로 구현할 아키텍처는 아직 거의 설계되지 않았다. 한국의 AI 규제 논의도 비슷한 지점에 서 있다.

의식 논쟁은 철학적으로 매혹적이다. 그러나 그것이 해결되는 동안, 조용하고 측정하기 어려운 손실이 쌓인다. 인간의 판단력이, 해석 능력이, 의미를 붙잡아두는 힘이 조금씩 줄어든다. 소음 없이. 경보 없이.