LLM 평가 방법 가이드: 골든셋 구축부터 자동/사람 평가까지

LLM을 개발하고 실제 서비스에 적용하는 과정에서 성능 검증은 핵심 과제입니다. 모델이 얼마나 많은 지식을 가지고 있는지 확인하는 것만으로는 충분하지 않습니다. 실제 사용 환경에서 시스템이 어떤 맥락을 이해하고, 어떤 품질의 응답을 제공하는지를 측정하는 것이 어렵습니다.

모델의 성능을 점수화한 벤치마크만으로는 한계가 있습니다. 각 사용 사례와 비즈니스 요구사항은 고유하기 때문입니다. 사용자가 실제로 겪는 문제에 모델이 어떻게 반응하는지, 어떤 예외 상황에서 안정적으로 작동하는지가 더 중요합니다. 따라서 개발 단계에서부터 평가 기준을 명확히 세우는 접근이 필요합니다.

이 가이드는 신뢰도 높은 LLM 평가를 위한 체계적인 방법을 제시합니다. 먼저, 모델의 성능을 객관적으로 측정할 수 있는 평가 데이터셋을 구축하는 원리를 설명합니다. 이어 자동 평가와 사람 평가의 장단점을 비교하고, LLM을 평가자로 활용하는 방법과 그 한계점도 다룹니다. 마지막으로 평가 결과의 신뢰도를 높이는 회귀 테스트까지 다루어, 실질적인 검증 기준을 제공합니다.

평가 데이터셋 구축: 골든셋의 원리

골든셋(Golden Set)은 모델이 이상적으로 생성해야 하는 정답의 집합입니다. 이는 평가의 기준이 되는 '진실 값(Ground Truth)'을 미리 준비하는 과정입니다. 모델의 성능을 측정하기 위해서는 단순히 질문만 던지는 것이 아니라, 해당 질문에 대해 전문가가 검증한 모범 답안을 함께 구축해야 합니다.

골든셋 구축은 평가 데이터셋의 핵심 단계입니다. 질문과 답변 쌍을 체계적으로 마련하는 것이 목표입니다. 이 과정에서 평가의 신뢰도를 결정하는 것은 정답 자체의 정확성입니다. 만약 전문가가 정의한 정답에 오류가 있다면, 아무리 성능이 좋은 모델이라도 잘못된 평가를 받게 됩니다. 따라서 골든셋의 품질 관리가 가장 중요합니다.

정답을 구축할 때는 단순히 텍스트만 준비하는 것이 아니라, 답변의 구조를 명확히 하는 것이 필요합니다. 예를 들어, 모델이 답변해야 하는 내용이 목록 형태인지, 아니면 특정 JSON 형식의 데이터인지 사전에 정의해야 합니다. 답변의 구조를 명확히 설계하는 것은 AI 개발자를 위한 구조화 출력과 함수 호출 설계 가이드와 같은 방법론을 참고하는 것이 효과적입니다.

골든셋은 모델이 처리할 수 있는 질문의 범위와 유형을 대표해야 합니다. 따라서 질문을 설계할 때 사용 사례(Use Case)를 폭넓게 반영하는 것이 중요합니다. 단순히 쉬운 질문들로만 구성하면 모델의 한계점이나 취약한 영역을 발견하기 어렵습니다. 평가 데이터셋은 모델이 실제로 마주할 복잡하고 다양한 시나리오를 반영해야 합니다.

이처럼 골든셋을 구축하는 과정은 시간과 노력이 많이 소요됩니다. 하지만 이 과정은 평가의 객관성을 확보하는 필수 전제 조건입니다. 골든셋이 견고할수록, 해당 평가를 통해 얻는 모델의 성능 지표는 신뢰도가 높아집니다. 평가 결과의 신뢰도는 궁극적으로 구축된 정답 데이터셋의 품질에 의해 좌우됩니다.

자동 평가와 사람 평가의 비교

자동 평가(Automatic Evaluation)와 사람 평가(Human Evaluation)는 LLM의 성능을 측정하는 두 가지 주요 방식입니다. 이 두 방식은 서로 다른 관점에서 모델의 품질을 판단하며, 각각의 특성을 이해하고 활용하는 것이 중요합니다.

자동 평가는 정해진 규칙이나 지표를 사용하여 점수를 매기는 방식입니다. 답변의 구조적 정확성이나 특정 키워드의 포함 여부 등 객관적으로 측정 가능한 요소를 기반으로 합니다. 이 방식은 대량의 데이터를 빠르고 일관성 있게 처리할 수 있다는 장점이 있습니다. 예를 들어, 답변의 길이, 문법적 오류의 유무, 혹은 특정 형식에 맞추어 출력되었는지 등을 규칙 기반으로 점수화할 수 있습니다. 따라서 평가 과정의 속도와 확장성이 매우 높습니다.

반면, 사람 평가는 인간의 직관과 맥락 이해를 바탕으로 모델의 답변 품질을 판단합니다. 단순히 정답 여부를 넘어, 답변이 사용자 의도에 얼마나 부합하는지, 논리적 흐름이 자연스러운지, 그리고 전반적인 사용 경험이 만족스러운지를 평가합니다. 사람 평가는 답변의 미묘한 뉘앙스나 복잡한 상호작용을 포착하는 데 강점을 가집니다. 인간의 선호도(human preference)를 반영하는 것이 가장 큰 강점입니다.

두 방식은 상호 배타적이지 않고 상호 보완적입니다. 자동 평가는 평가의 일관성과 확장성을 보장하며, 사람 평가는 평가의 깊이와 맥락적 이해도를 더합니다. 최근에는 LLM을 심판(Judge)으로 활용하는 LLM-as-a-Judge 기법이 주목받고 있습니다. 이는 인간의 선호도를 근사적으로 측정하는 확장 가능하고 설명 가능한 방법입니다.

다음 표는 두 평가 방식의 특징을 비교하여 이해를 돕습니다.

따라서 실제 평가 시스템을 구축할 때는 자동 평가로 1차적인 필터링을 수행하고, 사람이 개입해야 하는 복잡하거나 중요한 케이스를 선별하여 사람 평가를 진행하는 하이브리드 접근 방식이 가장 효과적입니다. 이러한 다각적인 접근은 모델의 성능을 보다 신뢰도 있게 검증할 수 있도록 돕습니다.

LLM-as-judge의 활용과 한계

LLM-as-judge는 강력한 대규모 언어 모델(LLM)을 심사위원(judge)으로 활용하여 모델의 성능을 평가하는 방법입니다. 이 방식은 인간의 선호도를 근사적으로 측정할 수 있게 해주는 확장성 있는 평가 방법입니다. 평가 비용이 높은 인간의 판단을 대체할 수 있다는 장점이 있습니다.

하지만 LLM-as-judge 역시 몇 가지 한계를 가집니다. 평가 과정에서 특정 답변의 위치(position)나 답변의 길이(verbosity)에 영향을 받는 편향성(bias)이 발생할 수 있습니다. 또한, 모델이 스스로를 긍정적으로 평가하려는 자기 강화 편향(self-enhancement bias)이 나타날 수 있습니다. 이러한 편향성을 줄이기 위해서는 평가 프롬프트 설계 시 주의를 기울여야 합니다.

LLM-as-judge의 신뢰도를 높이기 위해서는 모델의 추론 능력(reasoning ability)의 한계도 염두에 두어야 합니다. 그럼에도 불구하고, 강력한 LLM은 사람이 직접 평가한 결과와 높은 수준의 일치도를 보여줍니다. 이는 LLM-as-judge가 평가의 신뢰도를 확보하는 데 유용한 기반이 됩니다.

LLM-as-judge를 활용할 때는 평가의 일관성을 유지하는 것이 중요합니다. 여러 평가 기준을 적용하거나, 평가 과정에서 모델이 답변의 맥락을 놓치지 않도록 구조화된 출력을 요구하는 것이 도움이 됩니다. 이처럼 평가의 신뢰도를 확보하기 위해 여러 평가 방식을 조합하여 사용하는 것이 바람직합니다.

LLM-as-judge는 사람의 선호도를 측정하는 효율적인 대안이지만, 단독으로 사용하기보다 다른 평가 방식과 병행하여 사용하는 것이 가장 정확합니다. 평가 목적에 따라 적절한 심사 기준을 설정하고, 평가 결과를 다각도로 검토하는 접근이 필요합니다.

평가 신뢰도 확보를 위한 회귀 테스트

회귀 테스트(Regression Test)는 모델의 성능 변화를 추적하여 시스템의 안정성을 확인하는 과정입니다. 모델을 업데이트하거나 구조를 변경한 후, 이전에 잘 작동하던 기능이 예상치 못하게 저하되거나 사라지지 않았는지 검증하는 것이 목적입니다. 이 테스트는 모델이 핵심적인 동작 원리를 유지하는지 점검하여, 전반적인 시스템의 신뢰도를 확보하는 데 도움을 줍니다.

회귀 테스트의 핵심은 '안정성'을 검증하는 것입니다. 모델이 특정 기능이나 성능을 잃지 않았는지 확인하는 것이 주된 역할입니다. 예를 들어, 모델이 특정 형식의 출력을 생성하거나, 특정 도구를 호출하는 능력이 업데이트 후에도 유지되는지 점검합니다. 이러한 테스트를 통해 예상치 못한 성능 저하를 사전에 방지할 수 있습니다.

회귀 테스트를 설계할 때는 모델이 반드시 지켜야 하는 최소한의 기준(Minimum Viable Performance)을 정의해야 합니다. 이 기준은 모델이 수행해야 하는 핵심적인 작업들을 포함합니다. 이 기준을 통과하지 못하면 모델의 배포를 재고해야 합니다.

따라서 회귀 테스트는 단순히 성능 점수를 확인하는 것을 넘어, 모델의 '행동 패턴'을 검증하는 작업입니다. 모델이 특정 프롬프트나 작업 흐름에 대해 일관된 방식으로 응답하는지 확인하는 것이 중요합니다. 이러한 테스트를 주기적으로 수행하는 것이 AI 시스템의 지속적인 운영에 필수적입니다.

흔한 오해

"LLM-as-judge는 항상 인간의 선호도와 100% 일치합니다." LLM-as-judge는 인간의 선호도를 근사적으로 측정하는 방법입니다. 이 방법은 인간 선호도와 일치하는 정도를 높이기 위한 노력이 필요합니다. 모델의 판단에는 위치나 서술의 길이 등 편향이 존재할 수 있습니다.

"벤치마크 점수가 높으면 실제 업무에서도 최고의 성능을 보장합니다." 모델 성능은 특정 작업에 대한 직접적인 비교를 통해 정확하게 판단해야 합니다. 벤치마크 점수만으로는 실제 업무 환경에서의 최고 성능을 보장하기 어렵습니다.

"평가 데이터셋을 많이 만들수록 무조건 성능이 좋아집니다." 데이터셋의 양보다 전문가가 검증한 정답의 질과 다양성이 평가의 신뢰도를 높입니다. 평가의 신뢰도는 정답의 질과 다양성을 기준으로 판단합니다.

정리

• LLM 평가의 신뢰도를 높이려면 골든셋과 같은 검증된 데이터셋 구축이 필수적입니다.
• 자동 평가와 사람 평가는 서로 다른 관점을 제공하므로 함께 활용하는 것이 좋습니다.
• LLM-as-judge는 확장성이 높은 평가 방법이지만, 편향성 등 한계점을 인지해야 합니다.
• 회귀 테스트는 모델의 지속적인 안정성을 확보하고 성능 저하를 방지하는 데 사용됩니다.

참고 자료

• Anthropic — 성공 기준 정의와 평가 만들기 — 평가셋 설계 방법
• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena — LLM을 평가자로 쓸 때의 편향과 한계