문장 생성 버린 판단 전용 AI ‘제브’, 개발자 커뮤니티서 주목

생성형 AI의 핵심 기능으로 여겨졌던 문장 생성을 과감히 제거하고, 소프트웨어 시스템에서 곧바로 활용할 수 있는 구조화된 판단만 반환하는 AI 모델 ‘제브(Jev)’가 개발자 커뮤니티에서 주목받고 있다. 데이터 분류와 위험도 평가, AI 에이전트의 행동 결정처럼 빠른 판단이 필요한 영역에서 기존 대형언어모델(LLM)의 속도와 비용, 형식 오류 문제를 줄이려는 접근이다.

문장 대신 판단에 집중한 AI ‘제브’

타입세이프 AI(TypeSafe AI)가 선보인 첫 번째 AI 모델 제브는 공개 직후 기술 전문 커뮤니티 해커뉴스 상단에 오르며 수백 건의 댓글과 추천을 받았다.

디오고 알메이다 대표가 X에 게시한 모델 소개 글 역시 3700만 회가 넘는 조회수를 기록했으며, 수천 건의 인용 게시물이 이어지면서 글로벌 기술 커뮤니티의 관심을 끌었다.

그동안 엔지니어들은 데이터 분류와 위험 수준 평가, AI 에이전트의 다음 행동 결정 등 비교적 단순한 작업에도 LLM을 사용하는 경우가 많았다. 모델이 자연어 문장을 생성한 뒤 필요한 값을 추출하는 과정 때문에 처리 시간과 비용이 증가하는 문제가 있었다.

특히 모델이 지정된 JSON 형식을 벗어나거나 존재하지 않는 메서드와 도구를 임의로 만들어내는 문법적 환각이 발생할 경우 백엔드 서버의 런타임 오류로 이어질 가능성도 있었다.

생성 과정 제거해 70~500밀리초 응답

제브의 가장 큰 특징은 이러한 문장 생성 단계를 아예 없앴다는 점이다.

비구조화 데이터와 사전에 정의된 질문을 입력하면 단어를 하나씩 생성하는 디코딩 과정을 거치지 않고, 한 번의 처리 과정으로 선택지와 확률 분포, 신뢰도 점수를 반환한다.

응답 속도는 약 70~500밀리초 수준으로 제시됐다. 기존 LLM과 비교하면 수십 배 빠른 처리가 가능하다는 것이 개발사 측 설명이다.

비용 역시 크게 낮췄다. 입력 비용은 100만 토큰당 0.042달러 수준이며, 문장을 생성하지 않기 때문에 별도의 출력 토큰 비용도 발생하지 않는다.

개발자들이 주목한 ‘스마트한 if문’

개발자 커뮤니티에서는 제브를 정규표현식과 LLM 사이의 빈틈을 메울 수 있는 ‘스마트한 if문’에 비유하는 반응이 나오고 있다.

제브는 자유로운 텍스트를 생성하지 않고 개발자가 사전에 정의한 타입과 선택지 안에서만 결과를 반환한다. 이에 따라 존재하지 않는 도구 이름을 만들어내거나 JSON 규격을 벗어난 결과를 출력해 시스템 오류를 유발하는 유형의 문제를 구조적으로 줄일 수 있다는 평가다.

자율형 AI 에이전트 개발자들 사이에서도 관심이 이어지고 있다. 일부 개발자들은 수백 개에 달하는 중간 의사결정 단계를 제브로 대체한 결과, 전체 응답 지연 시간이 수 초에서 수백 밀리초 수준으로 줄었고 비용 역시 수백분의 일 수준으로 감소했다는 경험을 공유했다.

오픈소스 프로젝트도 빠르게 확산

개발자들의 관심은 오픈소스 생태계로도 이어졌다. 모델 공개 후 불과 48시간 만에 X와 깃허브 등에는 제브의 작동 원리를 참고한 오픈소스 클론 프로젝트가 6개 이상 등장했다.

맥북과 같은 개인용 컴퓨터에서 가볍게 실행할 수 있도록 제작된 모델부터 실시간 게임 제어에 활용하는 실험까지 다양한 프로젝트가 공개됐다.

고전 게임 ‘둠’과 ‘스타크래프트’의 게임 상황을 프레임 단위로 입력받아 초당 10차례씩 움직임을 결정하도록 만든 실시간 제어 데모도 등장했다. 짧은 응답 시간이 중요한 시스템에서 판단 전용 AI를 활용하려는 실험으로 풀이된다.

타입 안전성과 판단 정확성은 별개

다만 개발자들은 제브가 제공하는 ‘타입 안전성’과 모델의 판단 정확성을 구분해야 한다고 지적한다.

정해진 형식에서 벗어나지 않는다는 사실이 모델이 내린 판단 자체의 정확성을 보장하는 것은 아니기 때문이다. 제브 역시 잘못된 선택을 할 가능성이 있으며, 실제 서비스에서는 반환되는 신뢰도 점수를 기반으로 적절한 임계값을 설정하는 시스템 설계가 필요하다는 설명이다.

특히 잘못된 판단이 큰 영향을 미칠 수 있는 시스템에서는 빠른 처리 속도뿐 아니라 검증 절차와 예외 처리 체계를 함께 구축해야 한다.

AI 시스템 역할 분담 본격화 가능성

제브의 등장은 하나의 거대한 AI 모델이 모든 작업을 처리하는 방식에서 벗어나 목적에 따라 여러 모델의 역할을 구분하는 구조가 확대될 가능성을 보여준다.

전문가들은 빠르고 직관적인 판단을 담당하는 모델을 ‘시스템 1’, 복잡한 추론과 창작을 담당하는 모델을 ‘시스템 2’에 비유하고 있다.

실시간 데이터 라우팅과 모니터링, 신뢰도 판별처럼 반복적이고 빠른 처리가 필요한 작업은 제브와 같은 판단 전용 모델이 밀리초 단위로 처리하고, 고도의 추론이나 자연어 작성이 필요한 단계에서만 챗GPT나 클로드와 같은 LLM을 호출하는 방식이다.

제브가 제시한 핵심 변화는 더 많은 문장을 만드는 것이 아니라 필요한 순간에 필요한 판단만 빠르게 제공하는 데 있다. 이러한 접근이 실제 서비스 환경에서 속도와 비용, 안정성 측면의 효과를 입증한다면 향후 AI 에이전트와 소프트웨어 백엔드의 설계 방식에도 영향을 미칠 것으로 전망된다.