LGU+, 토큰 최적화 승부수… “AI 운영비 90% 절감”

기사 소리로 듣기
다시듣기
LG유플러스가 지난 12일 ‘인공지능(AI) 토큰 최적화 스터디’를 열고, 내년부터 기업의 토큰(AI가 업무를 수행하는 데 드는 데이터 단위) 비용 부담을 낮추는 ‘AI 운영 최적화 사업’을 추진한다고 15일 밝혔다. 기업 대신 AI를 가장 저렴하고 효율적으로 운영해 주겠다는 것이다.

기업이 직접 외부 AI 모델을 이용하면 토큰 사용량에 따라 비용을 내는데, AI 에이전트가 코딩 등 복잡한 업무를 수행할수록 비용 부담도 커진다. 이상엽 LG유플러스 최고기술책임자(CTO)는 “AI 에이전트가 불필요한 작업을 반복하면 전체 비용은 눈덩이처럼 불어난다”며 “AI 시장의 패권은 고객이 원하는 결과를 얼마나 경제적으로 완수하느냐에 달렸다”고 설명했다.

LG유플러스는 AI가 하나의 업무를 끝내는 데 드는 전체 비용인 작업 비용(태스크 코스트)를 줄이는 데 집중했다. 대표적인 기술이 질문의 난이도에 따라 적절한 AI 모델을 자동으로 골라주는 ‘모델 라우팅’이다. 간단한 질문에는 저렴한 모델을, 복잡한 코딩에는 성능 높은 모델을 투입하는 방식이다.

내부 테스트 결과 모델 라우팅을 거치자 일반 질문 처리 비용은 25% 이상, 코딩 에이전트 비용은 30% 이상 절감됐다고 설명했다. 자체 AI 모델을 활용한 코딩 에이전트에서는 기존 모델보다 운영 비용을 90% 이상 줄였다. AI 연산용 반도체를 효율적으로 조합하는 ‘칩 믹스’ 전략도 추진한다. 엔비디아와 AMD의 그래픽처리장치(GPU), 퓨리오사AI의 신경망처리장치(NPU) 등을 조합해 특정 기업 의존도를 줄이고 인프라 비용을 낮출 방침이다.

곽소영 기자
  • 카카오 공유하기
  • 페이스북 공유하기
  • 트위터 공유하기
  • 네이버블로그 공유하기
  • 네이버밴드 공유하기
ⓒ 트윅, 무단 전재 및 재배포 금지
연예의 참견
더보기
여기 이슈
더보기
갓생 살기
더보기