인터넷 없어도 돌아가는 AI, 70개 언어 지원한다

와이파이 끊어져도 번역기는 돌아간다

비행기 안에서 급하게 외국어 문서를 번역해야 하는 상황. 인터넷이 없어 구글 번역을 쓸 수 없다면? 이제 그런 걱정은 없어질 것 같다. 기업용 AI 회사 코히어(Cohere)가 인터넷 연결 없이도 노트북에서 돌아가는 다국어 AI 모델을 내놨다.

Tiny Aya라는 이름의 이 모델은 70개 언어를 지원하고, 한국어를 포함해 벵골어, 힌디어, 펀자브어까지 아시아 언어에 특히 강하다. 무엇보다 오픈 소스다. 누구나 코드를 받아서 자유롭게 수정할 수 있다.

작지만 강한 모델의 비밀

Tiny Aya의 핵심은 '작음'에 있다. 33억 5천만 개 매개변수로 GPT-4 같은 거대 모델보다 훨씬 작지만, 일상적인 번역과 텍스트 처리는 충분히 해낸다. 코히어는 엔비디아 H100 GPU 64개만으로 이 모델을 훈련시켰다고 밝혔다.

흥미로운 건 지역별 특화 버전이다. 아프리카 언어에 특화된 TinyAya-Earth, 남아시아 언어용 TinyAya-Fire, 아시아 태평양 지역용 TinyAya-Water 등이 있다. 각 모델이 해당 지역의 문화적 뉘앙스를 더 잘 이해하도록 설계했다는 게 회사 측 설명이다.

개발자들의 새로운 선택지

국내 AI 스타트업 개발자들에게는 반가운 소식이다. 그동안 다국어 AI 서비스를 만들려면 OpenAI나 구글의 API에 의존해야 했다. 사용량이 늘어날수록 비용도 급증했다.

하지만 Tiny Aya는 다르다. 한 번 다운로드하면 서버 비용 걱정 없이 무제한 사용 가능하다. 특히 인터넷이 불안정한 지역이나 데이터 보안이 중요한 기업 환경에서 큰 장점이 될 것으로 보인다.

허깅페이스(HuggingFace)와 올라마(Ollama) 등 플랫폼에서 이미 다운로드할 수 있다. 코히어는 훈련 방법론을 담은 기술 보고서도 곧 공개할 예정이라고 밝혔다.

빅테크의 독점에 균열이 생길까

AI 시장은 지금까지 구글, 오픈AI, 마이크로소프트 같은 거대 기업들이 주도해왔다. 이들은 막대한 컴퓨팅 자원을 바탕으로 점점 더 큰 모델을 만들어왔다.

하지만 Tiny Aya 같은 '작고 효율적인' 모델의 등장은 다른 가능성을 보여준다. 꼭 클라우드에 의존하지 않아도, 개인 기기에서도 충분히 유용한 AI를 쓸 수 있다는 것이다.

물론 한계도 있다. 복잡한 추론이나 창작 작업에서는 여전히 거대 모델이 우세하다. 하지만 번역, 요약, 간단한 대화 같은 일상적 업무라면 충분할 것으로 보인다.