업무 돕고 응대시간 축소…통신 LLM이 바꿀 새로운 세상

- SKT, 통신특화 ‘텔코 LLM’ 다음달 공개 예정
- “1개의 범용 LLM 아닌 멀티 LLM으로 문제 해결”
- KT·LGU+서도 개성 맞춘 LLM으로 시장 공략 나서

기사승인 2024-05-01 16:00:08

통신3사가 거대언어모델(LLM)을 바탕으로 한 혁신에 속도를 올리고 있다. 자체 LLM은 물론 통신 특화 LLM과 소형 거대언어모델(sLLM) 등 다양한 전략을 통해 비상을 준비 중이다.

SKT는 30일 기자간담회를 열고 통신에 특화된 ‘텔코LLM’을 이르면 다음 달 선보인다고 밝혔다. 텔코LLM은 기존 GPT 같은 범용 LLM이 아니라 통신에 특화된 LLM을 뜻한다.

SKT는 오픈AI, 앤트로픽 등과 협력을 통해 텔코LLM을 제작했다. SKT의 자체 LLM 에이닷엑스와 GPT, 클로드에 방대한 양의 통신 관련 데이터를 학습시켰다. 다양한 범용 모델을 기반으로 특화LLM을 탄생시킨 것이다. 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴뿐만 아니라 5G 요금제와 T멤버십, 공시지원금 등 우리나라의 통신 전문 용어도 대상이 됐다.

에릭 데이비스 SKT AI Tech Collaboration담당은 “1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것”이라며 “통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략”이라고 설명했다.

텔코 LLM은 범용 LLM과 비교해 통신 영역에서 높은 수준의 생성형 AI 작업 수행이 가능하다. 범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵다. 이를 해결하기 위해 통신 관련 데이터를 추가로 학습, 텔코LLM으로 미세조정 했다. 사람의 평가를 통한 강화학습도 거쳤다. 텔코LLM이 답변한 내용을 상담사들이 품질, 만족도 등을 평가해 보다 유용한 답변을 내놓도록 하는 것이다. 이를 반복하면 텔코LLM은 더 나은 답을 제시하는 등 보다 똑똑해진다.

똑똑해진 텔코LLM으로 할 수 있는 일은 무엇일까. SKT는 고객센터 적용을 통해 상담 및 상담 후 업무 처리에 소요되는 시간이 크게 단축될 것으로 기대하고 있다. 상담사가 고객 문의 내용을 정리하고 필요한 문서를 검색, 요약해 답을 한 후 상담 내용을 기록하는 것까지 많은 경험과 교육이 필요했다. 텔코LLM을 통해 이를 생략, 업무를 보조하고 빠르게 처리할 수 있도록 한 것이다.

활용 방안은 무궁무진하다. 네트워크 인프라 운용에도 유용하다. 네트워크 모니터링 중 문제가 생기면 실시간으로 텔코LLM에 질문을 입력, 해결 방안을 답변으로 제공한다. 정민영 SKT AI플랫폼 담당은 “고객센터, 인프라 뿐만 아니라 마케팅·유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것”이라며 “지속적으로 텔코LLM을 활용한 사례를 늘려갈 계획”이라고 강조했다.

SKT뿐만이 아니다. KT도 멀티 LLM 전략을 취하며 AI 전환에 속도를 내고 있다. 자체 LLM‘믿음’과 오픈AI의 GPT, 메타의 라마 등을 함께 활용하고 있다. LLM을 사내 업무시스템과 IPTV, 인공지능컨택센터(AICC) 등 다양한 영역에 적용 중이다.

구체적으로 살펴보면 멀티 LLM을 기반으로 내부 엄부 혁신 플랫폼 ‘젠아이두’를 개발, 전사에 적용 중이다. 생성형 AI를 이용해 API를 직접 개발해서 사용할 수 있게 한 플랫폼으로 업무 편의성과 보안성을 높였다.

AICC의 ‘AI 상담 어시스트’ 기능에도 LLM을 적용했다. 고객과의 대화 음성을 실시간으로 텍스트로 변환한 후 문의 내용에 적절한 답변을 추천하고, 상담 후처리(요약/분류)를 자동화한다.

sLLM 기반 모델도 적극 활용 중이다. KT는 보이스피싱 피해를 막기 위해 sLLM 기반 스팸 필터링 모델을 개발했다. 한국어 분석과 해석에 뛰어난 KT의 자체 LLM 믿음의 경량 버전인 ‘믿음 3B’를 기반으로 작동된다. 기존 LLM의 모델을 활용할 경우 일반적인 길이의 문자 메시지의 스팸 여부를 판단하는 데 걸리는 시간이 200ms 정도 소요된다면 sLLM은 35ms 만에 추론해 낸다.

LG유플러스는 보다 가벼운 sLLM에 집중, 개발 중이다. LG AI 연구원의 초거대 AI 모델 ‘엑사원’을 바탕으로 자체 개발한 소형 sLLM 익시젠을 이르면 다음 달 선보인다는 계획이다. sLLM은 LLM 대비 비교적 작은 파라미터 크기로 운영이 가능해 학습, 비용 등 효율성 측면에서 유리하다. 특히 sLLM의 경우 전문분야를 집중 학습시켜 사업에 적합한 AI로 활용할 수 있다는 점이 장점으로 꼽힌다. 무게가 가볍기 때문에 사업에 빠르게 적용할 수 있다는 점이 장점이다.

이소연 기자 soyeon@kukinews.com