30초 답변
최신 사내 지식을 근거와 함께 답하게 하려면 RAG, 출력 형식·역할·제약을 바꾸려면 Prompt와 Structured Output, 충분한 예시를 바탕으로 반복 행동을 더 일관되게 만들려면 Fine-tuning을 검토한다.
세 방법은 대체재가 아니다. 먼저 평가셋과 명확한 prompt로 기준선을 만들고, 지식 문제가 확인되면 RAG, 행동 패턴 문제가 반복될 때 Fine-tuning을 추가하는 순서가 대체로 안전하다.
이 글의 핵심
- 최신 지식 문제와 행동 문제를 구분해야 한다.
- Fine-tuning은 사내 문서를 실시간으로 기억시키는 데이터베이스가 아니다.
- 어떤 방법을 쓰든 같은 평가셋으로 전후를 비교한다.
한눈에 보는 선택
| 문제 | 먼저 볼 방법 | 이유 |
|---|---|---|
| 답변 형식이 흔들림 | Prompt + Structured Output | 지시와 schema 문제 |
| 최신 규정·사내 문서를 모름 | RAG | 외부 지식을 요청 시 검색 |
| 출처가 필요함 | RAG | 답과 원문 연결 가능 |
| 특정 분류·문체가 반복 불안정 | Fine-tuning 검토 | 예시를 통해 행동 패턴 조정 |
| 복잡한 업무 절차 | Workflow·Agent + Tool | 지식보다 실행 흐름 문제 |
| 오류 원인을 모름 | Eval 먼저 | 방법을 고르기 전에 병목 확인 |
Prompt가 맞는 문제
Prompt와 출력 schema부터 고칠 문제:
- 역할이 불명확함
- 답변 순서와 필수 필드가 빠짐
- 금지된 추측을 막아야 함
- 좋은 예시 몇 개로 행동이 개선됨
- 같은 입력에서 구조만 일관되게 만들고 싶음
Prompt는 가장 빠르게 실험할 수 있지만, 모델이 모르는 최신 사내 사실을 만들어 주지는 않는다.
RAG가 맞는 문제
Microsoft의 RAG와 Fine-tuning 비교 가이드는 RAG가 private 또는 최신 데이터를 검색해 context로 제공하는 방식임을 설명한다.
RAG가 적합한 경우:
- 문서가 자주 바뀜
- 답변 근거를 보여줘야 함
- 사용자 권한에 따라 볼 수 있는 문서가 다름
- 문서 삭제와 정정이 즉시 반영되어야 함
- 학습 데이터로 만들기 어려운 대규모 corpus
RAG를 붙인다고 자동으로 정확해지지는 않는다. 검색 평가, 권한, 문서 품질, no-answer 정책이 필요하다.
Fine-tuning이 맞는 문제
Fine-tuning은 예시를 통해 모델의 특정 행동을 조정하는 방법이다.
검토할 수 있는 경우:
- 충분하고 일관된 학습 예시가 있음
- 반복되는 분류·추출·형식·문체에서 prompt만으로 한계가 확인됨
- 평가셋으로 개선을 측정할 수 있음
- 데이터 권리와 개인정보 처리가 확인됨
- 모델 변경·재학습·운영 비용을 감당할 수 있음
OpenAI의 Fine-tuning 가이드는 학습 데이터 준비와 평가를 포함한 최적화 흐름을 제공한다. Fine-tuning 후에도 사실 정확성, 안전성, 최신성을 별도로 검증해야 한다.
흔한 오해
사내 문서를 Fine-tuning하면 항상 정확히 답한다
문서 사실을 검색 가능한 지식 저장소처럼 다루려면 RAG가 더 직접적이다. Fine-tuning은 문서 변경과 삭제를 즉시 반영하기 어렵고 출처 연결도 별도 설계가 필요하다.
RAG를 붙이면 Prompt가 필요 없다
어떤 문서를 어떻게 사용하고 근거가 없을 때 무엇을 할지 prompt와 정책이 필요하다.
Fine-tuning은 마지막 단계라 무조건 불필요하다
반복되는 안정적 작업과 좋은 데이터가 있으면 효과적인 선택일 수 있다. 문제는 목적 없이 먼저 학습하는 것이다.
권장 결정 순서
- 업무와 성공 기준 정의
- 평가셋 작성
- 기본 모델과 명확한 prompt로 기준선
- 지식 병목이면 RAG
- 구조 병목이면 schema·Tool·workflow
- 행동 병목이 반복되고 데이터가 충분하면 Fine-tuning
- 비용·지연·안전까지 같은 평가로 비교
자주 묻는 질문
RAG와 Fine-tuning을 함께 쓸 수 있나?
가능하다. Fine-tuned 모델이 특정 행동을 하고 RAG가 최신 지식을 제공할 수 있다. 다만 각 방법의 효과를 분리해 평가한다.
Long Context는 RAG를 대체하나?
작은 문서 묶음에서는 전체 입력이 단순할 수 있다. corpus가 크거나 권한·최신성·출처가 중요하면 검색과 선택 계층이 여전히 필요하다.
무엇부터 시작해야 하나?
평가셋과 prompt부터 시작한다. 현재 실패가 지식, 행동, 검색, workflow 중 어디에 있는지 확인한 뒤 선택한다.