[쿠키과학] ‘AI가 스스로 숨은 약점 찾는다’… KAIST, 레드팀 기술 개발

대규모 언어모델(LLM)이 서비스에 내놓기 전 스스로 다양한 공격 문장을 만들어 취약점을 찾아내는 인공지능(AI) 안전성 검증 기술이 나왔다.

KAIST 전기및전자공학부 김준모 교수팀은 LLM의 숨은 위험 요소를 폭넓게 찾아내는 ‘스테이블-지플로우넷(Stable-GFlowNet)’을 개발했다고 30일 밝혔다.

생성형 AI는 사용자의 질문에 따라 유해하거나 위험한 답변을 내놓을 수 있다.

개발사는 서비스 배포 전에 의도적으로 이런 답변을 끌어내는 질문을 만들고, 모델의 약점을 찾아 보완한다.

이 과정을 레드팀이라고 부른다.

하지만 기존 강화학습 기반 레드팀 기술은 성공 가능성이 높은 일부 공격 방식에 집중하는 한계가 있었다.

비슷한 유형의 질문만 반복 생성하는 ‘모드 붕괴’가 발생하면서 새로운 취약점을 충분히 찾기 어려웠다.

연구팀은 다양한 결과를 생성하는 생성 흐름 네트워크(GFlowNet)를 개선해 이 문제를 풀었다.

기존 GFlowNet은 학습 과정에서 전체 보상값을 추정해야 해 계산이 복잡하고, 보상 신호에 잡음이 섞이면 학습 성능이 흔들렸다.

연구팀은 대조 궤적 균형 기법은 두 결과를 직접 비교해 복잡한 보상 추정 과정을 줄였다.

또 노이즈 경사 가지치기는 의미가 작은 보상 차이를 학습에서 제외해 잡음 영향을 낮췄다.

특히 최소-K 유창성 안정화 장치는 단어 배열이 부자연스러운 문장을 걸러내 실제 사용자가 입력할 법한 공격 프롬프트를 만들도록 유도했다.

연구팀은 실험에서 기존 GFlowNet 방식이 찾아낸 고유 공격 유형 17개보다 약 7배 많은 134개를 발굴했다고, 공격 성공률도 92%로 유지했다.

이 기술로 취약점을 학습한 방어 모델은 서로 다른 공격 기법으로 평가하는 교차 공격 시험에서도 폭넓은 방어 성능을 보였다.

한 종류의 공격에만 대응하는 방식보다 다양한 위험 요소를 사전에 찾아내고 보완할 가능성을 확인한 결과다.

실제 이를 신약 후보물질을 찾는 분자 생성에 기술에 적용힌 결과 다양한 후보를 빠르고 안정적으로 생성해야 하는 문제에서 기존 GFlowNet 계열 기법보다 안정적인 성능을 확인했다.

김 교수는 “생성형 AI의 안전성은 한두 가지 공격을 막는 데 그치지 않고, 미처 예상하지 못한 취약점까지 찾는 데서 출발한다”며 “이번 기술이 서비스 적용 전 위험을 더 촘촘히 점검하는 AI 안전성 검증 도구로 활용될 수 있다”고 말했다.

한편, 이번 연구는 KAIST 전기및전자공학부 권민찬 박사과정이 제1저자로 참여했고, 연구결과는 ‘국제머신러닝학회(ICML) 2026’에서 상위 2.2%에 해당하는 스포트라이트 논문으로 선정됐다.
(논문명: Stable-GFlowNet: Toward Diverse and Robust LLM Red-Teaming via Contrastive Trajectory Balance)

이재형 기자 jh@kukinews.com