AI 도입 FAQ
AI 도입 검토 중 자주 나오는 질문
도입 검토 단계에서 반복되는 질문이 있다. 비용, 보안, 한국어 품질, 구축 기간이다. 이 페이지는 그 질문들에 대한 답을 한곳에 모았다.
검토 항목
질문 1
비용은 어떻게 결정되나
비용은 모델 크기보다 운영 방식에 좌우되는 경우가 많다. 클라우드형은 사용량 기반이라 시작이 가볍지만, 서비스가 커지면 추론 비용이 빠르게 늘 수 있다. 온프레미스는 초기 구축비가 크지만 장기 운영에서는 예측 가능성이 높아진다. 어느 쪽이 유리한지는 예상 사용량과 데이터 제약을 함께 봐야 판단할 수 있다.
클라우드형
사용한 만큼 지불하는 구조라 파일럿 비용이 낮다. 트래픽이 몰리는 시간대의 추론 호출이 늘면 월 비용이 함께 오른다. 호출량을 어떻게 줄일지(캐시, 배치, 모델 경량화)를 초기에 정해 두면 예측이 쉬워진다.
온프레미스
장비와 초기 구축비가 먼저 나간다. 대신 사용량이 늘어도 비용 곡선이 완만하고, 데이터 반출 없이 운영할 수 있다. 전력, 냉각, 운영 인력까지 포함해 총소유비용으로 계산해야 실제 판단이 선다.
판단 기준은 하나로 정리된다. 월 예상 호출량이 적고 실험이 목적이면 사용량 기반이 유리하고, 데이터 반출이 어렵거나 호출량이 꾸준히 높으면 고정 비용 쪽이 낫다. 두 구조를 같은 조건에서 견적 받아 비교하는 편이 안전하다.
질문 2
보안과 데이터 주권
사내 데이터가 어디에 저장되고 어떤 경로로 처리되는지 확인하는 것에서 시작한다. 규제와 보안 요구가 강한 조직은 온프레미스나 하이브리드 구성을 검토한다. 필요하면 사내 배포가 가능한지, 추론이 내부에서 도는지를 벤더에 확인한다. 이 항목이 후보를 가장 크게 좁힌다.
이 네 줄이 비어 있으면 나머지 비교는 의미가 약해진다. 보안 요구가 강한 조직일수록 여기서 후보가 절반 이하로 줄어드는 경우가 많다.
질문 3
한국어 품질은 어떻게 보나
사내 문서, 고객 응대, 검색 자동화처럼 한국어 비중이 높은 작업은 현지화된 모델이 유리한 경우가 많다. HyperCLOVA X가 자주 언급되는 이유도 여기에 있다. 다만 품질은 모델만으로 결정되지 않는다. RAG 구성과 데이터 정리 상태가 결과에 큰 영향을 준다.
평가 순서
- 사내 실제 문장 20~30개로 답변을 받아 본다. 요약, 분류, 검색 질의 세 가지 유형을 섞는다.
- 같은 문장을 RAG 없이, RAG와 함께 두 번 돌려 차이를 기록한다. 대부분 여기서 격차가 갈린다.
- 고유명사와 사내 용어가 그대로 나오는지 본다. 도메인 표현이 틀리면 파인튜닝을 함께 검토한다.
한국어 품질은 모델 이름만 보고 정할 수 없다. 같은 모델이라도 검색 대상 문서가 정리되어 있는지, 청크를 어떻게 나누는지에 따라 답이 달라진다. 모델 후보를 두 개로 좁힌 뒤 사내 데이터로 직접 돌려 보는 편이 빠르다.
기간보다 먼저 정할 것은 측정 기준이다
질문 4
구축 기간은 얼마나 걸리나
범위를 좁게 잡으면 파일럿 자체는 짧게 끝나는 경우가 많다. 문제는 그 이후 운영 단계다. 학습, 배포, 실험 관리가 반복 가능하게 돌아가도록 만드는 데 시간이 더 걸린다. 기간보다 무엇을 측정할지를 먼저 정하는 편이 낫다.
파일럿
범위를 좁힌 검증
업무 하나, 문서 묶음 하나로 시작한다. 여기서 확인할 것은 정확도보다 실패 유형이다. 어떤 질문에 답이 흔들리는지 기록해 두면 다음 단계가 짧아진다.
운영 전환
반복 가능한 파이프라인
학습, 평가, 배포가 손으로 반복되지 않게 만드는 단계다. 실험이 재현되지 않으면 모델을 바꿀 때마다 같은 검증을 다시 하게 된다.
운영
모니터링과 개선
응답 품질이 시간이 지나며 흐르는지 본다. 문서가 갱신되면 검색 인덱스도 함께 갱신되어야 하고, 그 주기를 정해 두는 편이 좋다.
일정은 세 단계로 나눠 보는 편이 현실적이다. 파일럿에서 무엇을 측정할지 정하고, 운영 전환에서 그 측정을 자동화한 뒤, 운영 단계에서 주기를 돌린다. 각 단계의 종료 조건을 먼저 합의해 두면 기간 논쟁이 줄어든다.
구성과 방식에 대한 질문
클라우드형과 온프레미스 중 무엇을 고를까
데이터 반출 범위를 먼저 정하는 게 순서다. 반출이 어려우면 온프레미스나 하이브리드가 전제가 된다. 빠른 실험이 목적이면 클라우드형으로 시작해 검증 후 옮기는 편이 낫다.
옮기는 시점도 미리 정해 두면 좋다. 검증할 지표와 통과 기준을 파일럿 시작 전에 합의해 두면, 전환 여부를 감이 아니라 기록으로 판단할 수 있다.
국내 AI 반도체는 어떤 용도에 강한가
FuriosaAI는 데이터센터 추론, DeepX는 로봇·카메라 같은 엣지·기기형 AI에 가깝다. 실시간 처리나 통신이 불안정한 현장에서 의미가 커진다. 칩 도입은 소프트웨어 스택과 운영 인력까지 함께 봐야 한다.
칩만 바꾼다고 처리량이 오르지 않는다. 모델 변환 도구, 양자화 방식, 서빙 프레임워크가 함께 준비되어야 실제 이득이 난다.
RAG와 파인튜닝 중 무엇부터
사내 문서 검색처럼 최신 정보 반영이 중요하면 RAG부터 검토하는 편이 일반적이다. 도메인 표현 자체를 맞춰야 하면 파인튜닝을 함께 본다. 둘은 대체 관계가 아니라 조합으로 쓰이는 경우가 많다.
문서가 자주 바뀌는 업무라면 RAG가 먼저다. 파인튜닝은 데이터가 안정되고 표현을 고정해야 할 때 효과가 크다.
벤더 후보는 몇 개로 좁히면 되나
보안 요구로 한 번, 비용 구조로 한 번 걸러 두 개에서 세 개가 남는 편이 다루기 쉽다. 그 이상은 검증에 드는 시간이 늘고 비교 기준도 흐려진다. 같은 질문지를 돌려 답을 나란히 놓고 보는 방식이 빠르다.