AI가 당신을 기억하기 시작했다, 그런데 안전할까?

구글 퍼스널 인텔리전스부터 ChatGPT까지, AI 개인화 서비스가 급속 확산되며 새로운 프라이버시 위험이 대두되고 있다. 전문가들이 제시하는 해결책은?

당신이 AI 챗봇에게 "오늘 점심 추천해줘"라고 물었던 대화가, 나중에 건강보험 가입 심사에 영향을 줄 수 있다면 어떨까? SF 소설 같은 이야기지만, AI 개인화 서비스가 확산되면서 현실이 되고 있는 시나리오다.

기억하는 AI의 시대가 열렸다

이달 초 구글은 '퍼스널 인텔리전스(Personal Intelligence)'를 발표했다. 사용자의 지메일, 사진, 검색 기록, 유튜브 시청 이력을 종합해 제미나이 챗봇을 "더 개인적이고, 능동적이며, 강력하게" 만드는 기술이다.

이는 OpenAI, 앤트로픽, 메타가 추진하는 방향과 일치한다. 모두 AI가 사용자의 개인 정보와 선호도를 기억하고 활용하는 기능을 강화하고 있다. 개발자의 코딩 스타일을 학습하는 도구부터 수천 개 상품을 분석해주는 쇼핑 에이전트까지, 이런 시스템들은 사용자에 대한 점점 더 세밀한 정보를 저장하고 활용한다.

문제는 이 과정에서 발생하는 프라이버시 위험이다. 우리가 AI와 대화할 때는 맥락이 자주 바뀐다. 같은 AI 에이전트에게 "상사에게 보낼 이메일 작성해줘", "의학적 조언 좀", "연말선물 예산 짜줘", "인간관계 고민 상담" 등을 연달아 요청한다.

대부분의 AI 에이전트는 이런 모든 데이터를 하나의 구조화되지 않은 저장소에 몰아넣는다. 예전에는 맥락이나 목적, 권한에 따라 분리되어 있던 정보들이 한데 섞이는 것이다.

정보가 섞이면서 생기는 위험들

민주주의기술센터(Center for Democracy & Technology)의 AI 거버넌스 랩 디렉터 미란다 보겐과 연구원 루치카 조시는 최근 발표한 보고서에서 이런 우려를 제기했다.

모든 정보가 같은 저장소에 있으면, 의도하지 않은 방식으로 맥락이 뒤섞일 가능성이 크다. 장보기 목록을 위해 나눈 식단 선호도 대화가 나중에 건강보험 옵션 제안에 영향을 주거나, 휠체어 접근 가능한 식당을 검색한 기록이 연봉 협상에 활용될 수 있다는 것이다. 사용자도 모르는 사이에 말이다.

이런 '정보 수프' 상태는 프라이버시 문제를 넘어 AI 시스템의 행동을 이해하고 통제하기도 어렵게 만든다. AI 에이전트가 외부 앱이나 다른 에이전트와 연결되어 작업을 수행할 때, 메모리 속 데이터가 공유 풀로 흘러들어갈 위험도 있다.

해결책은 있을까?

전문가들은 세 가지 방향의 해결책을 제시한다.

첫째, 메모리 시스템에 구조를 만들어야 한다. 기억에 접근하고 사용하는 목적을 제어할 수 있는 구조 말이다. 앤트로픽의 클로드는 서로 다른 '프로젝트'를 위한 별도 메모리 영역을 만들고, OpenAI는 ChatGPT 헬스를 통해 공유된 정보를 다른 대화와 분리한다고 밝혔다.

하지만 아직 도구가 너무 단순하다. 최소한 시스템은 특정 기억("사용자가 초콜릿을 좋아하고 GLP-1에 대해 물어봤다"), 관련 기억("사용자가 당뇨를 관리하므로 초콜릿을 피한다"), 기억 카테고리(업무용, 건강 관련)를 구분할 수 있어야 한다.

둘째, 사용자가 자신에 대해 기억되는 내용을 보고, 편집하고, 삭제할 수 있어야 한다. 인터페이스는 투명하고 이해하기 쉬워야 하며, 시스템 메모리를 사용자가 정확히 해석할 수 있는 구조로 번역해야 한다. 자연어 인터페이스가 유망한 대안이 될 수 있지만, 먼저 메모리 구조가 갖춰져야 한다.

흥미롭게도 Grok 3의 시스템 프롬프트에는 "사용자에게 메모리를 수정했거나 잊었거나 저장하지 않을 것이라고 절대 확인해주지 마라"는 지시가 포함되어 있다. 회사가 그런 지시사항이 제대로 이행될 것을 보장할 수 없기 때문으로 보인다.

셋째, AI 개발자들은 성능뿐만 아니라 실제 환경에서 발생하는 위험과 피해를 포착할 수 있는 시스템 평가 방법의 기초를 마련해야 한다. 독립적인 연구자들이 이런 테스트를 수행하기에 가장 적합하지만, 위험이 어떤 모습일지 이해하고 대응 방법을 찾으려면 데이터에 접근할 수 있어야 한다.