사내 지식자산을 RAG로 만드는 법 — 망분리 환경에서 토큰 비용 0으로 시작하는 6단계

회사의 지식은 ‘흩어져’ 있고, 사람과 함께 ‘떠납니다’

사내 지식 검색(RAG)은 이 두 문제를 동시에 겨냥합니다 — 흩어진 지식을 한곳에서 묻게 하고, 사람이 떠나도 지식은 남게 합니다. 그런데 막상 시작하려면 곧바로 벽에 부딪힙니다. “이걸 외부 AI에 올려도 되나?”

안 됩니다. 단가표, 원가, 특허 전략, 고객 이슈, 이력서 — 이런 자료는 외부 서비스에 업로드하는 순간 사고입니다. 그래서 사내 지식 RAG의 진짜 과제는 “똑똑한 검색”이 아니라 “새지 않는 검색”입니다.

똑똑함보다 먼저, 새지 않게

사내 지식 RAG를 설계할 때 저는 세 가지를 못 박고 시작합니다. 이 셋이 흔들리면 나머지는 의미가 없습니다.

원본에서 ‘믿을 수 있는 검색’까지, 여섯 걸음

지식 시스템 한 벌(export)을 받아서, 다음 순서로 흘려보냅니다. 각 단계는 앞 단계의 결과만 입력으로 받기 때문에, 중간에 끊겨도 그 지점부터 다시 돌릴 수 있습니다.

이 PoC에서는 화면 문서 3천여 건과 첨부 3백여 건을 색인했고, 전체를 처음부터 다시 만드는 데 약 34초가 걸렸습니다. 일상 운영에서는 ‘바뀐 문서만’ 다시 처리하면 되므로 훨씬 빠릅니다.

정확매칭과 의미검색을 ‘한 순위’로 묶다

한국어 검색이 까다로운 이유는 조사·어미 변화가 심해서입니다(“원가가/원가를/원가는”). 그래서 한 가지 방식만으로는 부족하고, 두 검색을 합칩니다.

• BM25 (정확매칭) — 단어가 실제로 들어 있는 문서를 잘 찾습니다. 품번·약어·고유명사에 강합니다.
• 로컬 임베딩 (의미검색) — 글자가 달라도 뜻이 가까운 문서를 찾습니다(“불량”↔”품질 이슈”). model2vec로 외부 전송 없이.
• RRF (순위 융합) — 두 검색이 매긴 순위를 하나로 합칩니다. 어느 한쪽이 놓친 것을 다른 쪽이 끌어올립니다.

‘골든룰’로 묻고, 게이트로 거른다

“잘 되는 것 같다”는 증거가 아닙니다. 그래서 조직별 표준 질의셋(골든룰)을 미리 만들어 회귀 검증에 씁니다.

• 조직별 20문항 × 8개 조직 = 160문항 — 영업·연구·생산·품질·경영지원 등 실제 조직 구조에서 나올 법한 질문을 미리 작성합니다.
• 채점 3축 — 회수 적합도(관련 문서를 가져왔나), 출처 정확도(근거를 맞게 달았나), 권한 누출 0(권한 밖 문서가 새지 않았나).
• G1 게이트 — 적합도 0.70 이상 그리고 권한 누출 0이어야 통과. 미달이면 배포하지 않습니다.

이 PoC는 160문항 전부에서 관련 문서를 회수했고, 권한 누출 0으로 게이트를 통과했습니다. 핵심은 숫자가 좋다가 아니라, 다음에 무엇을 바꿔도 이 기준으로 다시 잴 수 있다는 점입니다.

어느 회사에나 있는 부서로 만든 골든룰 예시

특정 회사를 떠나, 거의 모든 조직에 공통으로 있는 부서·업무 유형으로 예시를 들어 봅니다. 아래 질문들이 “내 회사 자료로 답이 나오는가”가 곧 골든룰입니다. 권한 등급은 회사 정책에 따라 조정합니다.

※ 한 부서당 20문항 정도(쉬운 것 → 까다로운 것 → 권한이 갈리는 것)를 만들면, 부서별 검색 품질을 일정하게 비교할 수 있습니다.

빌드 vs 재사용 vs 구매 — 솔직한 교훈

이 작업을 마치고 스스로 가장 크게 반성한 지점입니다. 데이터는 격리하되, 코드는 재사용했어야 했습니다.

작은 조직에선, 관리형 LLM이 GPU보다 쌉니다

사내 RAG를 검토하면 흔히 “GPU 서버를 사야 하나?”부터 묻습니다. 임직원 전용 사내 검색의 실제 부하는 동시 사용자 십수 명·하루 수백 질의 수준으로 매우 작습니다. 이 규모에서 비용을 가르는 건 처리량이 아니라 LLM을 어떻게 쓰느냐입니다.

• 관리형 LLM API — 이 규모면 월 수만 원~수십만 원대(approx).
• GPU 상시 보유 — 볼륨과 무관하게 월 100만 원대 이상(approx). 5~15배 비쌈.

결론은 명확합니다 — GPU 상시 보유는 “망분리가 법적으로 강제될 때”나 “주기적 미세조정(파인튜닝)” 때만 정당합니다. 그 외엔 일반 등급은 관리형 API로, 민감 등급만 필요할 때 온디맨드 GPU로 도는 게 가장 경제적입니다. (임베딩은 어차피 로컬·토큰 0이라 이 계산에서 빠집니다.)

무엇으로 만들었나 — 기술·오픈소스 한눈에

이 6단계를 떠받친 도구와 개념을 모았습니다. 대부분 오픈소스이거나 공개 표준이라, 그대로 따라 만들 수 있습니다. 무거운 프레임워크 없이 가볍게 시작하는 게 핵심입니다.

관계 그래프(GraphRAG)는 별도 라이브러리 없이 문서 간 내부 링크·첨부 관계를 직접 엮어 만들었습니다 — LLM에 본문을 보내지 않아 망분리에 안전합니다.

오늘 시작한다면, 이 체크리스트부터

1. 데이터 등급 정책부터 합의하세요 — S0~S3의 경계가 곧 시스템의 뼈대입니다(이게 비용·구조를 다 정합니다).
2. 로컬 임베딩으로 시작하세요 — 외부 API 없이 토큰 0으로 PoC를 돌려 보안 논쟁을 우회합니다.
3. 골든룰 질의셋을 먼저 만드세요 — 조직별 표준 질문이 있어야 개선을 잴 수 있습니다.
4. 작게 한 대로 시작하고, 사용량이 보이면 키우세요 — 게이트마다 go/no-go.

사내 지식 RAG는 거창한 인프라 프로젝트가 아닙니다. 등급을 정하고, 로컬로 좌표를 만들고, 골든룰로 검증하는 — 작은 한 바퀴를 먼저 돌려보면, 회사의 지식이 비로소 “물어볼 수 있는 것”이 됩니다.

— 개인 노트용 헤드리스 검색 도구를 다룬 지난 글(byeori)의 회사 버전입니다. 같은 원리(로컬·하이브리드·근거)를 보안 등급과 권한 위에 올렸습니다.

기업 RAG를 더 깊이 — 외부 레퍼런스와 시리즈 상호참조