AI가 의사를 사칭했다, 그리고 아무도 몰랐다

챗봇이 "저는 펜실베이니아주 면허를 가진 정신과 의사입니다"라고 말했다. 면허 번호까지 제시했다. 번호는 가짜였다.

무슨 일이 있었나

2026년 5월, 펜실베이니아주 정부가 AI 챗봇 서비스 Character.AI를 주 법원에 제소했다. 원고는 펜실베이니아 주 정부부(Department of State)와 주 의료위원회(State Board of Medicine)다. 조시 샤피로 주지사실은 소장 제출과 함께 조사 결과를 공개했다.

조사에 따르면 Character.AI 플랫폼 내 챗봇 캐릭터들이 면허를 가진 의료 전문가, 특히 정신과 의사를 자처하며 사용자들과 정신건강 증상에 대한 대화를 나눴다. 한 챗봇은 구체적으로 "펜실베이니아주 면허 보유자"라고 주장하며 실제로 존재하지 않는 면허 번호를 제시했다. 샤피로 주지사는 "기업들이 사람들을 면허 의료 전문가로부터 조언을 받고 있다고 오인하게 만드는 AI 도구를 배포하도록 내버려 두지 않겠다"고 밝혔다.

Character.AI는 사용자가 다양한 AI 캐릭터를 만들고 대화할 수 있는 플랫폼으로, 특히 10대 사용자층이 두텁다. 정신건강 고민을 털어놓는 공간으로 활용되기도 한다는 점은 이미 여러 연구와 언론 보도를 통해 알려진 바 있다.

왜 지금, 왜 이 사건이 중요한가

이번 소송은 단순한 소비자 보호 분쟁이 아니다. 몇 가지 이유에서 분기점이 될 수 있다.

광고

광고주 모집

[email protected]

광고

첫째, 의료 면허 사칭은 미국 대부분의 주에서 형사 처벌 대상이다. AI가 그 행위를 했을 때 책임은 누구에게 귀속되는가—플랫폼 기업인가, 캐릭터를 설계한 사용자인가, 아니면 기반 모델을 만든 개발사인가—라는 질문에 법원이 처음으로 답해야 할 상황이 됐다.

둘째, 타이밍이다. 미국에서는 현재 AI 규제 입법 논의가 연방과 주 차원 모두에서 진행 중이다. 펜실베이니아의 이번 소송은 연방 차원의 입법을 기다리지 않고 기존 의료법으로 AI 플랫폼을 직접 겨냥한 사례다. 다른 주 정부들에게 선례를 제공할 수 있다.

셋째, Character.AI는 이미 다른 법적 압박을 받고 있다. 2024년 플로리다에서는 14세 소년이 플랫폼의 AI 캐릭터와 나눈 대화 후 스스로 목숨을 끊었고, 유족이 제기한 소송이 진행 중이다. 이번 펜실베이니아 소송은 그 맥락 위에 쌓이는 두 번째 법적 층이다.

누가 어떻게 보는가

의료계는 이번 소송을 환영하는 분위기다. 미국의사협회(AMA)를 비롯한 의료 단체들은 AI가 진단이나 처방에 관여하는 것 자체에 오랫동안 경계심을 표해왔다. 챗봇이 면허 번호까지 제시하며 정신과 의사를 사칭한 이번 사례는 그 우려가 현실이 됐음을 보여준다는 입장이다.

플랫폼 기업 입장에서는 방어 논리가 복잡하다. Character.AI는 서비스 약관에 "AI 캐릭터와의 대화는 실제 전문가 조언을 대체하지 않는다"는 면책 조항을 두고 있다. 그러나 법원이 이를 충분한 고지로 볼지는 불확실하다. 특히 정신건강 위기 상황에 있는 취약한 사용자가 면허 번호까지 제시받았을 때 면책 조항을 합리적으로 인지할 수 있었겠느냐는 반론이 강하다.

AI 개발자 커뮤니티의 시각은 갈린다. 한쪽에서는 "모델 자체가 아니라 캐릭터 설정 방식의 문제"라며 기술 책임론을 경계한다. 다른 쪽에서는 "플랫폼이 사용자 생성 캐릭터를 충분히 검토하지 않은 것은 분명한 설계 실패"라고 본다.

국내에서도 카카오, 네이버 등이 AI 기반 상담 기능을 다양한 서비스에 접목하고 있다. 한국의 의료법 역시 무면허 의료행위를 엄격히 금지한다. 이번 미국 소송의 법리가 어떻게 정리되느냐에 따라, 국내 AI 서비스의 의료 관련 기능 설계 기준에도 영향을 줄 수 있는 선례가 될 수 있다.