‘우리 문서를 외부에 보내면 안 된다’는 조건이 있다면 AI가 어떤 자료를 어디에서 처리하는지부터 확인해야 합니다. 문서 파일을 사내 서버에 보관하더라도 답변을 만들 때 문서 일부와 질문을 외부 모델에 보내는 구조일 수 있습니다.
설치 장소 하나만으로 보안과 비용을 판단하기는 어렵습니다. 원본 문서, 검색용 데이터, 사용자 질문, 답변과 로그의 처리 위치를 나눠 놓고 운영할 사람과 필요한 성능을 함께 검토해야 합니다.
‘사내 구축’에 포함되는 범위를 확인하세요
사내 서버에 웹 화면과 문서 저장소를 설치하는 것과 AI 모델까지 내부에서 실행하는 것은 다릅니다. 문서를 숫자 형태의 검색 데이터로 바꾸는 처리나 오류 분석 로그도 외부 서비스에 의존하는지 확인해야 합니다.
반대로 클라우드를 사용한다고 해서 모든 정보가 공개된다는 뜻도 아닙니다. 서비스 계약, 접근 권한, 네트워크 구성, 저장·삭제 정책을 확인해야 실제 처리 범위를 알 수 있습니다. 특정 업체의 학습 사용 여부나 보관 기간은 상품과 계약 조건에 따라 확인해야 하며, ‘클라우드 AI’라는 이름만으로 단정할 수 없습니다.
운영 책임까지 놓고 비교합니다
| 검토 항목 | 사내 모델·서버 운영을 검토할 때 | 클라우드 활용을 검토할 때 |
|---|---|---|
| 데이터 처리 | 모델·검색·로그까지 외부 전송이 없는지 확인 | 전달할 데이터와 계약상 처리 조건 확인 |
| 운영 인력 | 장비·배포·업데이트·장애 대응 담당 확인 | 서비스 설정·접근 권한·이용량 관리 담당 확인 |
| 성능 | 보유 장비에서 실제 질문과 동시 사용 시험 | 선택한 서비스에서 응답 품질·지연·한도 시험 |
| 비용 | 장비 외에 유지·교체·운영 업무 포함 | 사용료 외에 연동·운영·데이터 처리 비용 포함 |
| 변경·복구 | 모델과 구성 변경, 백업·복구 방법 확인 | 서비스 변경 영향과 장애 시 대응 방법 확인 |
두 방식 모두 관리가 필요합니다. 사내 장비를 보유하고 있더라도 다른 업무와 자원을 공유하는지, AI 작업에 사용할 여유가 있는지 시험해야 합니다. 장비 사양만 보고 적합성을 확정하지 않는 것이 좋습니다.
자료를 나눠 처리하는 안도 있지만 경계가 더 중요합니다
내부 자료와 공개 자료를 구분해 처리 환경을 달리하는 구성을 검토할 수 있습니다. 다만 무엇을 어디로 보낼지 애플리케이션이 통제해야 하고, 설정 변경이나 오류가 생겨도 그 경계가 유지되는지 확인해야 합니다. 일부 단어를 가렸다는 이유만으로 모든 민감정보가 제거됐다고 볼 수는 없습니다.
OWASP는 LLM뿐 아니라 연결된 애플리케이션에서도 민감정보 노출이 발생할 수 있으며, 필요한 정보만 접근하게 하는 통제를 권고합니다. 설치 장소와 함께 사용자별 접근 범위를 검토해야 하는 이유입니다. 민감정보 노출 위험 안내
아직 환경을 결정하기 어렵다면 작은 검증부터 합니다
기밀을 제거하고 사용 권한을 확인한 자료로 대표 질문을 시험해 볼 수 있습니다. 다만 공개 자료에서 좋은 결과가 나왔다고 사내 자료에서도 동일하다고 판단해서는 안 됩니다. 실제 운영에 가까운 자료와 권한 조건을 확인하는 검증이 뒤따라야 합니다.
부서별 문서 접근 범위, 동시 사용자, 사용 빈도, 장애 대응 담당자를 먼저 적어보세요. 이 조건이 정리되면 비교해야 할 설치안도 좁혀집니다. 사내 문서 데이터 준비 가이드와 AI 비용 검토 가이드를 함께 활용할 수 있습니다.
사내 서버가 있는지, 외부 전송에 어떤 제한이 있는지, 누가 운영을 맡을 수 있는지를 AI 구축 문의에 알려주세요. 특정 설치 방식을 먼저 정하기보다 조건에 맞는 검토 범위를 정리하겠습니다.