국산 AI 반도체 상용화 본격화…SK텔레콤 서비스서 하루 40억 토큰 처리

국산 인공지능(AI) 반도체가 실제 대규모 서비스의 핵심 연산을 담당하며 상용화 단계에 본격 진입하고 있다. 신경망처리장치(NPU)가 SK텔레콤의 주요 AI 서비스에 적용돼 하루 40억 개가 넘는 토큰을 처리하면서, 해외 반도체 의존도를 낮출 수 있는 새로운 선택지로 주목받고 있다.

SK텔레콤 AI 서비스 4곳에 국산 NPU 적용

AI 반도체 스타트업 리벨리온이 개발한 NPU ‘아톰맥스’는 SK텔레콤의 AI 에이전트 ‘에이닷’ 통화 요약과 음성 합성, AI 고객센터, 스캠뱅가드 등 4개 서비스의 주요 연산에 활용되고 있다.

현재 국산 NPU가 처리하는 이용자 요청은 하루 약 1400만 건에 달하며, 데이터 처리량은 40억 토큰을 넘어선다. 통화 내용을 간략하게 정리하는 기능부터 AI 답변을 음성으로 전달하는 기능, 상담 내용 검색과 미끼 문자 탐지까지 실제 이용자를 대상으로 한 서비스에 적용 범위가 확대됐다.

NPU는 학습을 마친 AI 모델이 이용자의 질문이나 입력에 답을 생성하는 ‘추론’ 작업에 특화된 반도체다. AI 학습과 추론에 폭넓게 활용되는 그래픽처리장치(GPU)와 달리, 특정 추론 작업에 최적화할 경우 전력 소비와 운영 비용을 줄일 수 있다는 장점이 있다.

GPU와 NPU 역할 분담으로 효율 높여

SK텔레콤은 AI 서비스의 특성과 연산 종류에 따라 GPU와 NPU를 구분해 활용하고 있다. 통화 내용을 한 줄로 요약하거나 AI 답변을 문장 단위로 읽어주는 기능에는 아톰맥스가 투입됐다.

상담 내용을 정리하고 필요한 정보를 검색하는 AI 고객센터와 이용자를 노리는 미끼 문자를 판별하는 스캠뱅가드에도 국산 AI 반도체가 적용됐다.

이처럼 실제 서비스에서 NPU 활용이 확대되면 해외 반도체에 집중된 국내 AI 인프라의 선택지를 넓힐 수 있다는 평가가 나온다.

유회준 KAIST 인공지능반도체대학원장은 “외산에 전적으로 의존하면 상대의 변화에 따라 전체 AI 생태계가 영향을 받을 수 있다”며 “그동안 실험실에 머물던 국산 AI 반도체가 이번에 드디어 상품, 제품이 된 것”이라고 평가했다.

차세대 ‘리벨100’도 상용화 검증 진행

국산 AI 반도체의 경쟁력을 확대하려면 현재 적용된 제품뿐 아니라 후속 제품도 실제 데이터센터 환경에서 안정성과 성능을 입증해야 한다.

리벨리온은 서울 강서구 마곡 데이터센터에서 차세대 NPU ‘리벨100’의 상용화를 위한 시험을 진행하고 있다. 서버실 내부 소음은 77.5dB까지 올라갈 정도로 여러 장비가 가동되는 환경이다.

시험 과정에서는 리벨100 8장을 서버에 장착한 뒤 약 30분 만에 서버와 카드가 정상적으로 인식됐다. 빠른 데이터 전송을 지원하는 고대역폭메모리 HBM3E를 탑재한 제품으로, 고객사 공급을 앞두고 실제 운영 환경에 필요한 검증 절차를 거치고 있다.

실제 운영 경험 쌓이며 적용 기간 단축

서비스 운영 경험이 축적되면서 새로운 분야에 국산 NPU를 적용하는 데 필요한 기간도 짧아지고 있다.

SK텔레콤이 처음 에이닷에 국산 NPU를 적용하는 과정에는 약 5~6개월이 필요했지만, 이후 추가 서비스에 적용할 때는 약 2~3개월로 기간이 줄었다. 반도체뿐 아니라 관련 소프트웨어와 실제 운영 경험이 함께 축적된 결과로 풀이된다.

소버린 AI 경쟁 속 반도체 자립 중요성 확대

세계적으로 자국의 기술과 인프라를 기반으로 AI 생태계를 구축하려는 ‘소버린 AI’ 경쟁이 확대되면서 자체 AI 반도체를 개발하고 실제로 활용할 수 있는 역량도 중요해지고 있다.

미국 신미국안보센터(CNAS)의 ‘소버린 AI 인덱스’를 분석한 결과, 글로벌 정부 지원 인프라 AI 사업 117건 가운데 45%에 엔비디아 GPU가 공급된 것으로 나타났다. 각국이 자체 AI 역량 강화를 추진하고 있지만 핵심 연산 장비에서는 해외 기업에 대한 의존도가 여전히 높은 셈이다.

첨단 AI 반도체와 AI 모델을 둘러싼 국가 간 경쟁이 심화하면서 공급망 안정성 역시 주요 과제로 떠오르고 있다. 특정 기업이나 국가의 기술에 지나치게 의존할 경우 공급 정책이나 국제 환경 변화가 전체 AI 산업에 영향을 미칠 가능성이 있기 때문이다.

김용석 가천대 반도체대학 석좌교수는 “한국은 AI 반도체를 만들 능력이 있지만 양산과 상용화 부분에서 뒷심이 약한 상태”라며 “공공이나 대기업이 초기 고객이 되어 국산 AI 칩 생산 기업들이 납품 경험을 쌓을 수 있도록 할 필요가 있다”고 진단했다.

국산 NPU가 실제 대규모 AI 서비스에서 핵심 연산을 담당하기 시작하면서 국내 AI 반도체 산업은 연구개발을 넘어 상용화 역량을 입증하는 단계로 이동하고 있다. 차세대 제품의 검증과 양산, 고객사 확대가 이어질 경우 국내 AI 인프라의 선택지를 넓히고 독자적인 AI 생태계를 구축하는 기반이 될 것으로 전망된다.