Prompt Engineering은 왜 개발자의 일인가
기업용 AI Agent에서 prompt를 문장이 아니라 role, constraint, grounding, output schema를 포함한 백엔드 제어 로직으로 봐야 하는 이유를 정리합니다.
Operations
AI 운영의 속도와 품질을 최적화합니다
Latency, token cost, top-k, context 길이, 모델 분리, prompt 제어, generation parameter, embedding cache와 검색 결과 cache처럼 운영 단계에서 필요한 튜닝을 다룹니다.
글 읽기
Temperature와 Top-p, 그리고 안정적인 응답
기업용 AI Agent에서 temperature와 top-p를 창의성 설정이 아니라 일관성과 재현성을 위한 시스템 정책으로 다루는 방법을 설명합니다.
모든 질문에 RAG를 쓰면 안 되는 이유
모든 질문을 RAG로 처리할 때 발생하는 latency와 비용 문제, 그리고 질문 유형에 따른 AI 경로 분리 전략을 정리합니다.
LLM 비용과 응답 속도를 동시에 잡는 방법
Top-k, context 길이 제한, 모델 분리, 캐싱으로 운영 환경에서 LLM latency와 비용을 함께 관리하는 방법을 다룹니다.