AI PoC Procurement

AI PoC 발주 전에 합의해야 할 검수 기준

AI PoC의 목적은 그럴듯한 답변을 보는 것이 아니라 실제 업무에 적용할 수 있는지 판단하는 것입니다. 계약 전에 질문셋, 데이터 범위, 성공 기준과 실패 시 처리 방식을 합의해야 결과를 두고 다시 해석하는 일을 줄일 수 있습니다.

작성: KMWORKS AI Tech Lab발행 2026-08-14

먼저 한 문장으로 정리할 것

“누가 어떤 자료를 보고 무슨 업무를 끝내기 위해 이 AI를 쓰는가?”가 합의되지 않으면 PoC 범위도 흔들립니다. 사내 규정 검색, 상담 답변 초안, 발주서 항목 추출처럼 사용자와 완료 조건이 보이는 문장으로 시작합니다.

준비된 질문에 답하는 화면은 사용 방법을 보여주는 데 적합합니다. 검수에서는 낯선 표현, 정보가 없는 질문, 권한이 다른 사용자, 오래된 문서와 외부 시스템 오류까지 확인해야 합니다.

데모에서는 화면보다 처리 흐름을 보십시오. 어떤 근거를 찾았는지, 결과에 한계를 표시하는지, 실행 전에 사람 승인을 요구하는지를 확인하는 것이 좋습니다.

상담 해결 AI Agent 데모와 산업안전·작업허가 AI Agent 데모는 KMWORKS 자체 제작 Reference Demo이며 샘플 데이터를 사용합니다.

업무 유형마다 위험과 정답 형태가 다르므로 전체 평균 하나보다 질문 유형별 통과 기준을 두는 편이 낫습니다. 정확한 답, 근거 부족 시 무응답, 사람 이관을 각각 평가해야 합니다.

운영 수준의 모든 통제를 완성할 필요는 없지만, 사용자별 문서 접근 범위와 외부 전송 금지 항목처럼 구조를 바꿀 수 있는 조건은 PoC에서 확인해야 합니다.

대표 문서와 실제 질문을 소량 준비해 데이터 상태를 진단하는 것은 가능합니다. 다만 문서 소유자, 최신성, 중복, 권한이 확인되지 않은 상태에서 정확도 수치부터 약속하는 것은 피해야 합니다.

현재 업무와 필요한 기능을 알려주시면 개발 범위와 우선순위를 함께 검토합니다.