[쿠키과학] ‘답변 이유·오류까지 설명’… ETRI, ‘판단 근거 설명하는 AI’ 국제표준 승인

한국전자통신연구원(ETRI)이 인공지능(AI)의 답변 근거와 판단 이유를 설명하고 잘못된 내용까지 검증하는 의사결정지원 기술을 개발, 시스템 구조와 요구사항을 국제표준으로 확립했다.

ETRI는 설명가능한 의사결정지원 AI의 국제표준 ‘인간-기계 상호작용 기반 설명가능한 의사결정지원 시스템의 프레임워크와 요구사항’을 국제전기통신연합 전기통신표준화부문(ITU-T)에서 승인받았다고 12일 밝혔다.

ITU-T F.748.59로 등록된 이번 표준은 AI가 전문지식을 활용해 결론을 내리고 판단 근거와 검증 결과를 사용자에게 전달하기 위해 갖춰야 할 공통 구조와 기능을 규정한다.

생성형 AI는 질문에 자연스러운 답변을 빠르게 만들지만, 결론을 내린 과정과 활용한 근거를 충분히 보여주지 못할 때가 있고, 근거가 부족한 정보를 사실처럼 답하는 오류도 발생할 수 있다.

의료와 법률, 금융, 행정 분야에서는 AI의 판단이 개인의 생명과 안전, 권리에 직접 영향을 미칠 수 있다.

전문가가 AI의 결과를 실제 업무에 사용하려면 답변뿐 아니라 판단 근거와 신뢰 수준, 추가 확인이 필요한 정보까지 검토할 수 있어야 한다.

이번 표준은 AI가 결과만 제시하는 방식을 넘어 판단 이유와 근거, 검증 내용까지 설명하도록 시스템의 기본 틀을 제시했다.

표준에는 사용자 질문에 대한 답변과 이유 설명, 전문지식에 기반한 추론, 판단 근거를 담은 보고서 작성, 추가 확인이 필요한 정보 식별 기능을 포함했다.

사용자 의견 반영과 전문지식 업데이트, 텍스트·표·이미지·도식 등 다양한 형태의 정보 처리 기능도 요구사항으로 담았다.

지난 1월 시행된 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’은 사람의 생명과 신체 안전, 기본권에 중대한 영향을 미칠 수 있는 시스템을 고영향 AI로 규정하고 사업자에게 안전성과 신뢰성 확보 책무를 부여했다.

ETRI는 이번 표준이 고영향 AI의 결과와 주요 판단 기준을 설명하는 기능을 실제 시스템에 구현하는 기술적 기반으로 활용될 것으로 기대하고 있다.

아울러 ETRI는 국제표준 제정과 함께 설명가능한 의사결정지원 AI를 구현하는 핵심기술 4종도 개발했다.

설명가능한 분류 기술은 전문문서나 상담 기록을 유형별로 나눈 뒤 AI가 해당 결과를 선택한 이유를 보여준다.

민원 내용을 ‘보상관련 민원’으로 분류했다면 보상 요구나 피해 내용처럼 판단에 영향을 준 문장을 함께 제시하는 방식이다.

이 기술은 개별 문장의 판단 근거뿐 아니라 AI가 전체적으로 어떤 특징과 기준을 중심으로 자료를 분류하는지도 설명한다.

담당자는 분류 결과와 원문을 함께 비교해 AI의 판단이 적절한지 확인할 수 있다.

멀티모달 기반 자가검증 검색증강생성(RAG) 기술은 글뿐 아니라 표와 이미지, 도식이 섞인 전문문서에서도 질문과 관련된 정보를 찾는다.

RAG는 외부 문서에서 근거를 검색한 뒤 이를 바탕으로 답변을 생성하는 기술이다. ETRI 기술은 검색한 자료가 질문과 실제로 관련 있는지, AI가 해당 자료를 답변에 충실히 반영했는지까지 스스로 점검한다.

ETRI는 문서의 표와 배치 정보가 텍스트 변환 과정에서 사라지는 문제를 줄이기 위해 문서를 이미지 형태로 검색하는 기술도 개발했다.

한국어 문서를 이해하도록 학습하고 연산량을 줄인 시각언어모델(VLM)을 적용했다.

사실성 검증 기술은 AI가 작성한 답변이나 보고서를 문장 또는 사실 단위로 나눈 뒤 각 내용이 근거 자료와 일치하는지를 수치로 평가한다.

근거가 부족하거나 사실과 다를 가능성이 있는 문장을 찾아 사용자에게 알리고 추가 확인이 필요한 부분도 표시한다.

인터랙티브 플래닝 기반 보고서 생성 기술은 사용자의 목적과 요구 형식에 맞춰 목차와 작성 계획을 먼저 세운다.

이후 전문지식과 분석 결과를 반영해 보고서를 단계적으로 작성하며, 사용자는 작성 과정에서 내용을 추가하거나 구성 변경을 요청할 수 있다.

ETRI가 개발한 기술은 AI가 질문의 상황을 파악하고 전문지식으로 추론한 뒤 근거와 이유, 오류 검증 결과를 함께 제공한다.

범용 생성형 AI가 다양한 질문에 빠르게 답하는 데 중점을 둔다면 설명가능한 의사결정지원 AI는 전문가가 결과를 직접 검토하고 책임 있게 활용하도록 지원하는 데 초점을 맞췄다.

판례와 진료기록, 금융자료, 민원문서처럼 정확한 근거 확인이 필요한 업무에 활용할 수 있다.

이용주 ETRI 시각지능연구실장은 “이번 표준은 기업과 공공기관이 설명가능한 AI를 설계할 때 참고할 공통 구조와 요구사항을 제시했다”며 “AI의 판단 과정과 근거를 확인해야 하는 서비스의 신뢰성을 높이는 기준으로 활용할 수 있다”고 말했다.

과제책임자인 배경만 ETRI 책임연구원은 “전문가가 AI의 답변을 책임 있게 활용하려면 결과가 나온 근거와 이유, 사실과 다른 내용이 있는지를 함께 확인해야 한다”며 “이번 핵심기술은 AI의 판단을 사람이 직접 검토할 수 있도록 지원한다”고 밝혔다.

한편, 이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 추진한 사람중심 인공지능 핵심원천기술개발사업의 지원을 받았다.

이재형 기자 jh@kukinews.com