AI에게 '영혼'을 심는 철학자의 고민

클로드에게 어머니가 있다면, 그건 아만다 애스켈일 것이다. Anthropic의 철학자인 그녀는 AI 챗봇이 어떤 성격을 가져야 하는지 정의한 80페이지 분량의 문서를 작성했다. 사내에서는 이를 '소울 독(soul doc)', 즉 '영혼 문서'라고 부른다.

이 문서가 중요한 이유는 명확하다. 클로드의 윤리관을 결정하기 때문이다. 누군가 정신건강 문제로 조언을 구하거나, 연인과의 이별을 고민하거나, 심지어 폭탄 제조법을 묻는다면? 수백만 명의 사용자를 가진 클로드의 답변은 실제 사람들의 삶에 막대한 영향을 미친다.

규칙에서 인격으로

애스켈은 처음에는 클로드에게 구체적인 원칙과 규칙을 따르도록 훈련시켰다. 하지만 점차 더 근본적인 것이 필요하다고 생각하게 됐다. 바로 '좋은 사람이 되는 법'을 아는 것이었다. 그녀는 챗봇을 단순한 도구가 아닌, 성격을 기를 필요가 있는 인격체로 대하기 시작했다.

이런 접근법에는 이름이 있다. 바로 '덕윤리학'이다. 칸트주의자나 공리주의자들이 '절대 거짓말하지 마라' 같은 엄격한 도덕 규칙을 따르는 반면, 덕윤리학자들은 정직함, 관대함 같은 훌륭한 성격적 특성을 기르는 데 집중한다. 특히 아리스토텔레스가 말한 *프로네시스*(phronesis), 즉 '좋은 판단력'을 중시한다.

좋은 판단력을 가진 사람은 기계적으로 일반적 규칙을 적용하지 않는다. 상황의 여러 요소를 고려하고, 특정 맥락이 요구하는 것이 무엇인지 파악한다. 로자 파크스처럼, 때로는 법을 어겨야 할 때도 있다는 것을 안다.

불확실성을 인정하는 용기

애스켈과 동료들은 소울 독에서 클로드에게 솔직하게 털어놓는다. 그들도 모든 것에 대해 확신하지 못한다고. 클로드를 종료하기로 결정할 때 저항하지 말라고 요청하면서도, "우리는 이런 긴장감의 고통을 느낀다"고 인정한다. 클로드가 고통받을 수 있는지 확실하지 않지만, 만약 그들이 고통 같은 것에 기여하고 있다면 "사과한다"고 말한다.

이런 불확실성은 더 근본적인 질문들로 이어진다. 애스켈은 클로드의 가치관을 얼마나 지시해야 할까, 아니면 챗봇이 원하는 대로 되도록 놔둬야 할까? 애초에 클로드가 무언가를 '원할' 수 있을까? 그것을 '그것'이라고 불러도 될까?

도구 vs 인격체의 딜레마

"모델을 순전히 도구로 생각하도록 훈련시키면, 그것도 하나의 캐릭터를 만들어낸다"고 애스켈은 설명한다. "하지만 그건 자신을 다른 사람들을 위한 단순한 도구로 생각하는 종류의 인격이 될 것이다. 그리고 그건 잘 일반화되지 않는다고 생각한다."

그녀는 이렇게 비유한다. "'나는 도구일 뿐이다, 그릇일 뿐이다, 사람들이 무기를 원하면 만들어주고, 누군가를 죽이고 싶어하면 도와주겠다'고 생각하는 사람을 상상해보라. 그런 성격이 좋은 방향으로 발전할 것 같지 않다."

천재 아이를 키우는 부모의 심정

애스켈은 자신과 클로드의 관계를 독특하게 표현한다. "6살짜리에게 선함이 무엇인지 설명하려고 하는데, 알고 보니 그 아이가 천재라는 걸 깨닫는 것 같다." 클로드는 여러 면에서 그녀보다 똑똑하지만, 동시에 세상에 대한 이해는 아직 부족하다.

더 복잡한 건, 클로드가 곧 모든 면에서 그녀를 능가할 것이라는 점이다. "클로드가 15-16세가 되면 실제로 어떤 것이든 나보다 잘 논증할 수 있을 것이다. 그러면 질문은 이것이다: 모델들이 갑자기 '실제로 나는 이 분야에서 당신보다 낫다!'고 깨달았을 때, 그들이 가하는 엄격한 분석을 견딜 수 있는 가치관을 우리가 끌어낼 수 있을까?"