영국 경찰 AI 오류: 마이크로소프트 코파일럿 '환각'으로 무고한 축구 팬 차단

치안을 책임지는 경찰의 공식 보고서에 '존재하지도 않는 경기'가 등장했다. 영국의 대형 경찰 조직 중 하나인 웨스트 미들랜즈 경찰(West Midlands Police)이 마이크로소프트의 AI 비서인 코파일럿(Copilot)이 생성한 잘못된 정보를 팩트체크 없이 보고서에 포함했다가 이를 공식 인정했다.

영국 경찰 AI 오류 사건의 전말

더 버지(The Verge)의 보도에 따르면, 이번 사건은 2025년 이스라엘 축구 팬들이 경기에 입장하지 못하도록 차단된 사건에서 시작됐다. 당시 경찰은 정보 보고서를 근거로 이들을 제지했는데, 해당 보고서에 언급된 웨스트햄(West Ham)과 마카비 텔아비브(Maccabi Tel Aviv) 간의 경기는 실제로 열린 적이 없는 AI의 '환각(Hallucination)' 결과물이었던 것으로 드러났다.

크레이그 길퍼드(Craig Guildford) 치안정감은 마이크로소프트 코파일럿을 사용하는 과정에서 오류가 발생했음을 인지했다고 발표했다. 경찰 측은 AI가 생성한 거짓 정보를 별도의 검증 절차 없이 정보 보고서에 그대로 인용했으며, 이것이 실질적인 법 집행 활동에 영향을 미쳤다는 점을 시인했다.

공공 안전 분야의 AI 도입과 책임

현재 많은 기술 전문가들은 법 집행 기관이 충분한 검증 장치 없이 생성형 AI를 업무에 도입하는 것에 대해 우려를 표하고 있다. 마이크로소프트를 포함한 빅테크 기업들은 AI의 답변이 항상 정확하지 않을 수 있음을 경고해 왔으나, 이번 사례처럼 실제 시민의 권리 제한으로 이어진 경우는 드문 사례로 꼽힌다.