tech-note · 입문

Prompt, RAG, Fine-tuning 중 무엇을 선택해야 할까

최신 사내 지식을 답하게 하려면 RAG, 출력 형식·역할·제약을 바꾸려면 Prompt와 Structured Output, 반복되는 행동 패턴을 안정적으로 학습시키려면 충분한 평가 데이터와 함께 Fine-tuning을 검토한다. 세 방법은 대체재가 아니라 서로 다른 문제를 해결한다.

30초 답변

최신 사내 지식을 근거와 함께 답하게 하려면 RAG, 출력 형식·역할·제약을 바꾸려면 Prompt와 Structured Output, 충분한 예시를 바탕으로 반복 행동을 더 일관되게 만들려면 Fine-tuning을 검토한다.

세 방법은 대체재가 아니다. 먼저 평가셋과 명확한 prompt로 기준선을 만들고, 지식 문제가 확인되면 RAG, 행동 패턴 문제가 반복될 때 Fine-tuning을 추가하는 순서가 대체로 안전하다.

이 글의 핵심

  • 최신 지식 문제와 행동 문제를 구분해야 한다.
  • Fine-tuning은 사내 문서를 실시간으로 기억시키는 데이터베이스가 아니다.
  • 어떤 방법을 쓰든 같은 평가셋으로 전후를 비교한다.

한눈에 보는 선택

문제먼저 볼 방법이유
답변 형식이 흔들림Prompt + Structured Output지시와 schema 문제
최신 규정·사내 문서를 모름RAG외부 지식을 요청 시 검색
출처가 필요함RAG답과 원문 연결 가능
특정 분류·문체가 반복 불안정Fine-tuning 검토예시를 통해 행동 패턴 조정
복잡한 업무 절차Workflow·Agent + Tool지식보다 실행 흐름 문제
오류 원인을 모름Eval 먼저방법을 고르기 전에 병목 확인

Prompt가 맞는 문제

Prompt와 출력 schema부터 고칠 문제:

  • 역할이 불명확함
  • 답변 순서와 필수 필드가 빠짐
  • 금지된 추측을 막아야 함
  • 좋은 예시 몇 개로 행동이 개선됨
  • 같은 입력에서 구조만 일관되게 만들고 싶음

Prompt는 가장 빠르게 실험할 수 있지만, 모델이 모르는 최신 사내 사실을 만들어 주지는 않는다.

RAG가 맞는 문제

Microsoft의 RAG와 Fine-tuning 비교 가이드는 RAG가 private 또는 최신 데이터를 검색해 context로 제공하는 방식임을 설명한다.

RAG가 적합한 경우:

  • 문서가 자주 바뀜
  • 답변 근거를 보여줘야 함
  • 사용자 권한에 따라 볼 수 있는 문서가 다름
  • 문서 삭제와 정정이 즉시 반영되어야 함
  • 학습 데이터로 만들기 어려운 대규모 corpus

RAG를 붙인다고 자동으로 정확해지지는 않는다. 검색 평가, 권한, 문서 품질, no-answer 정책이 필요하다.

Fine-tuning이 맞는 문제

Fine-tuning은 예시를 통해 모델의 특정 행동을 조정하는 방법이다.

검토할 수 있는 경우:

  • 충분하고 일관된 학습 예시가 있음
  • 반복되는 분류·추출·형식·문체에서 prompt만으로 한계가 확인됨
  • 평가셋으로 개선을 측정할 수 있음
  • 데이터 권리와 개인정보 처리가 확인됨
  • 모델 변경·재학습·운영 비용을 감당할 수 있음

OpenAI의 Fine-tuning 가이드는 학습 데이터 준비와 평가를 포함한 최적화 흐름을 제공한다. Fine-tuning 후에도 사실 정확성, 안전성, 최신성을 별도로 검증해야 한다.

흔한 오해

사내 문서를 Fine-tuning하면 항상 정확히 답한다

문서 사실을 검색 가능한 지식 저장소처럼 다루려면 RAG가 더 직접적이다. Fine-tuning은 문서 변경과 삭제를 즉시 반영하기 어렵고 출처 연결도 별도 설계가 필요하다.

RAG를 붙이면 Prompt가 필요 없다

어떤 문서를 어떻게 사용하고 근거가 없을 때 무엇을 할지 prompt와 정책이 필요하다.

Fine-tuning은 마지막 단계라 무조건 불필요하다

반복되는 안정적 작업과 좋은 데이터가 있으면 효과적인 선택일 수 있다. 문제는 목적 없이 먼저 학습하는 것이다.

권장 결정 순서

  1. 업무와 성공 기준 정의
  2. 평가셋 작성
  3. 기본 모델과 명확한 prompt로 기준선
  4. 지식 병목이면 RAG
  5. 구조 병목이면 schema·Tool·workflow
  6. 행동 병목이 반복되고 데이터가 충분하면 Fine-tuning
  7. 비용·지연·안전까지 같은 평가로 비교

자주 묻는 질문

RAG와 Fine-tuning을 함께 쓸 수 있나?

가능하다. Fine-tuned 모델이 특정 행동을 하고 RAG가 최신 지식을 제공할 수 있다. 다만 각 방법의 효과를 분리해 평가한다.

Long Context는 RAG를 대체하나?

작은 문서 묶음에서는 전체 입력이 단순할 수 있다. corpus가 크거나 권한·최신성·출처가 중요하면 검색과 선택 계층이 여전히 필요하다.

무엇부터 시작해야 하나?

평가셋과 prompt부터 시작한다. 현재 실패가 지식, 행동, 검색, workflow 중 어디에 있는지 확인한 뒤 선택한다.

근거 자료