사전학습·파인튜닝·정렬: 모델이 만들어지는 단계

같은 기반 모델에서 출발했는데도 어떤 모델은 질문에 친절하게 답하고, 어떤 모델은 문장을 이어 쓰기만 합니다. 어떤 모델은 위험한 요청을 거절하고, 어떤 모델은 그대로 따릅니다. 이 차이는 모델 크기나 구조가 아니라 어떤 학습 단계를 거쳤는가에서 나옵니다.

오늘날 대화형 LLM은 보통 세 단계를 거쳐 만들어집니다. 방대한 텍스트로 언어 자체를 익히는 사전학습, 지시를 따르는 형식을 배우는 지도 미세조정, 사람이 선호하는 답변 방향으로 다듬는 정렬입니다.

이 단계들을 구분해 두면 실무에서 유용합니다. 모델이 잘 못하는 일이 지식 부족인지, 형식 문제인지, 정책 때문인지 판단할 수 있고, 해결책이 프롬프트인지 검색 증강인지 파인튜닝인지도 달라지기 때문입니다.

1단계: 사전학습 — 언어 자체를 익힙니다

사전학습(pre-training) 은 대량의 텍스트에서 다음 토큰을 맞히는 연습을 반복하는 과정입니다. 정답 레이블을 사람이 달아 줄 필요가 없습니다. 텍스트 자체가 정답이기 때문입니다. "오늘 날씨가 정말"까지 보여 주고 다음에 올 토큰을 맞히게 한 뒤, 틀린 만큼 파라미터를 조정합니다.

이 단순한 작업을 엄청난 규모로 반복하면 문법, 어휘, 세상에 대한 사실, 문체, 코드 작성 능력, 기초적인 추론 패턴까지 파라미터 안에 통계적 규칙으로 자리 잡습니다. 모델이 가진 지식의 대부분은 이 단계에서 들어옵니다.

사전학습에는 두 가지 중요한 성질이 있습니다.

비용이 압도적으로 큽니다. 대규모 계산 자원과 긴 시간이 필요하며, 이후 단계들과는 비교가 되지 않습니다. 대부분의 조직이 모델을 직접 사전학습하지 않고 공개된 기반 모델을 가져다 쓰는 이유입니다.

지식이 시점에 고정됩니다. 학습에 쓰인 데이터가 수집된 시점 이후의 일은 모델이 알지 못합니다. 이를 지식 컷오프(knowledge cutoff) 라고 합니다. 최신 정보가 필요하면 검색을 붙이는 수밖에 없습니다.

이 단계까지만 거친 모델을 기반 모델(base model) 또는 사전학습 모델이라고 합니다. 기반 모델은 대화를 하지 않습니다. "한국의 수도는?"이라고 물으면 답하는 대신 "한국의 수도는? 일본의 수도는? 중국의 수도는?"처럼 비슷한 문장을 이어 쓸 수 있습니다. 학습한 것이 "질문에 답하기"가 아니라 "그럴듯하게 이어 쓰기"이기 때문입니다.

2단계: 지도 미세조정 — 지시를 따르는 형식을 배웁니다

기반 모델을 쓸 만하게 만들려면 "지시가 주어지면 그에 맞는 응답을 한다" 는 형식을 가르쳐야 합니다. 이것이 지도 미세조정(SFT, Supervised Fine-Tuning) 입니다.

방법은 사전학습과 비슷하지만 데이터가 다릅니다. 사람이 작성한 (지시, 모범 응답) 쌍을 모아 그 형식대로 학습시킵니다.

지시: 다음 문단을 세 문장으로 요약해 줘.
      (문단 내용)
응답: (잘 쓰인 세 문장 요약)

이런 예시를 다양한 작업에 걸쳐 충분히 학습하면 모델은 "지시 뒤에는 그 지시를 수행한 결과가 온다"는 패턴을 익힙니다. 새로운 지식이 크게 늘어나는 단계는 아닙니다. 이미 가진 능력을 꺼내 쓰는 방식을 배우는 단계에 가깝습니다.

이 단계를 거친 모델을 지시 조정 모델(instruct model) 이라고 부르며, 우리가 API나 챗봇으로 만나는 모델은 대부분 여기에 해당합니다.

3단계: 정렬 — 더 나은 답변 쪽으로 다듬습니다

SFT까지 마치면 지시는 따르지만, 여러 가능한 답변 중 어느 쪽이 더 나은지에 대한 감각은 부족합니다. 사람이 보기에 도움이 되고, 정직하고, 해롭지 않은 방향으로 조정하는 단계가 정렬(alignment) 입니다.

핵심 아이디어는 "모범 답안을 하나 주는" 대신 "둘 중 어느 쪽이 나은지 비교하게 하는" 것입니다. 같은 질문에 대해 모델이 만든 여러 응답을 사람이 비교해 순위를 매기고, 모델이 그 선호를 따르도록 조정합니다.

대표적인 방법이 두 갈래입니다.

RLHF(사람 피드백 기반 강화학습) 는 먼저 사람의 선호를 흉내 내는 보상 모델을 따로 학습시킵니다. 그다음 언어 모델이 생성한 응답을 보상 모델이 채점하고, 점수가 높아지는 방향으로 강화학습을 진행합니다. 단계가 많고 학습이 불안정해질 수 있지만 오랫동안 표준으로 쓰였습니다.

DPO(직접 선호 최적화) 는 보상 모델과 강화학습 단계를 생략하고, 선호 데이터로 언어 모델을 직접 조정합니다. 구조가 단순하고 안정적이어서 널리 쓰이게 되었습니다.

정렬 단계에서 함께 결정되는 것이 거절 정책입니다. 어떤 요청을 거절할지, 어떻게 거절할지, 어디까지 답할지가 이 단계의 데이터에 담깁니다. 모델마다 거절 범위와 어조가 다른 이유입니다.

파인튜닝이 필요한 경우와 아닌 경우

"우리 데이터로 파인튜닝하면 되지 않을까"라는 생각은 자연스럽지만, 대부분의 문제에는 더 간단한 해법이 있습니다.

파인튜닝은 지식을 주입하는 수단으로는 비효율적입니다. 사실을 외우게 하려면 많은 데이터가 필요하고, 내용이 바뀌면 다시 학습해야 하며, 학습했다고 정확히 답한다는 보장도 없습니다. 지식은 검색으로 넣고, 파인튜닝은 형식·말투·판단 기준 같은 "방식"을 가르치는 데 쓰는 편이 효과적입니다.

파인튜닝이 분명히 유리한 경우도 있습니다. 정해진 형태의 작업을 대량으로 반복할 때입니다. 분류나 정보 추출처럼 범위가 좁은 작업이라면, 작은 모델을 파인튜닝해 큰 모델을 대체하면 비용과 지연을 크게 줄일 수 있습니다.

전체 파라미터를 조정하는 대신 일부만 학습하는 경량 파인튜닝(LoRA 등) 기법이 널리 쓰입니다. 원본 가중치는 두고 작은 보조 행렬만 학습하는 방식으로, 비용이 훨씬 적고 여러 버전을 두기도 쉽습니다.

단계가 남기는 흔적

각 단계는 모델 사용 경험에 서로 다른 흔적을 남깁니다.

• 사전학습 → 무엇을 아는가. 지식 컷오프, 언어별 능력 차이, 도메인별 강약.
• SFT → 어떤 형식으로 답하는가. 기본 답변 길이, 구조화 습관, 지시 이해도.
• 정렬 → 무엇을 어떻게 거절하는가. 조심성의 정도, 어조, 불확실성 표현 방식.

모델이 기대와 다르게 동작할 때 어느 단계에서 비롯된 문제인지 짚어 보면 대응이 빨라집니다. 모르는 내용이면 검색을 붙이고, 형식 문제면 프롬프트를 고치고, 과도한 거절이면 요청 맥락을 명확히 하거나 다른 모델을 검토하는 식입니다.

모델이 어떤 단계를 거쳤는지 확인하는 법

공개 모델을 고를 때는 그 모델이 어느 단계까지 거쳤는지부터 확인해야 합니다. 같은 이름 아래 여러 변형이 함께 배포되는 경우가 많기 때문입니다.

이름의 접미어를 봅니다. 공개 가중치 모델은 흔히 기반 모델에 base, 지시 조정 모델에 instruct나 chat을 붙여 구분합니다. 대화형 서비스에 쓸 모델을 찾는다면 지시 조정 버전을 골라야 합니다. 기반 모델에 질문을 던지면 대답 대신 문장을 이어 쓰는 결과가 나옵니다.

모델 카드를 읽습니다. 모델 저장소의 설명 문서(모델 카드)에는 학습 방식, 권장 용도, 알려진 한계, 라이선스가 적혀 있습니다. 특히 라이선스와 사용 제한은 상업적 활용 전에 반드시 확인해야 합니다.

기술 보고서가 있으면 함께 봅니다. 개발사가 공개한 기술 보고서에는 학습 데이터의 성격과 정렬 방식이 더 자세히 나옵니다. 다만 공개 범위는 모델마다 다르며, 비공개 부분을 추측해서 판단하지 않는 것이 좋습니다.

흔한 오해

"파인튜닝하면 모델이 우리 데이터를 외운다." 일부 반영되지만 검색만큼 정확하지 않고, 어떤 내용이 반영됐는지 확인하기도 어렵습니다. 정확한 인용이 필요하면 검색 증강이 맞습니다.

"대화한 내용이 모델 학습에 바로 들어간다." 일반적으로 아닙니다. 학습은 별도 과정이며, 대화 데이터의 학습 활용 여부는 서비스 약관과 설정에 따릅니다. 민감한 데이터를 다룬다면 해당 정책을 반드시 확인해야 합니다.

"정렬은 검열이다." 정렬은 거절 정책만을 뜻하지 않습니다. 도움이 되는 답변, 사실에 근거한 답변, 불확실할 때 그렇다고 말하는 태도까지 포함하는 넓은 조정 과정입니다.

정리

• 사전학습은 대량 텍스트로 다음 토큰 예측을 반복하는 단계이며, 모델 지식의 대부분이 여기서 들어옵니다.
• 학습 데이터 시점 이후를 모르는 지식 컷오프는 사전학습의 구조적 특성입니다.
• 지도 미세조정(SFT)은 지시를 따르는 형식을 가르치는 단계로, 새 지식보다 사용 방식을 배웁니다.
• 정렬(RLHF·DPO)은 사람의 선호를 반영해 답변 방향과 거절 정책을 결정합니다.
• 파인튜닝은 지식 주입보다 형식·말투·반복 작업 최적화에 적합하며, 지식은 검색 증강이 낫습니다.
• 경량 파인튜닝 기법 덕분에 전체 재학습 없이도 부분 조정이 가능합니다.

참고 자료

• Training language models to follow instructions with human feedback — InstructGPT, RLHF 방법론
• Direct Preference Optimization — DPO 원 논문
• LoRA: Low-Rank Adaptation of Large Language Models — 경량 파인튜닝 기법