프롬프트는 형식을, 사내 RAG는 판단을 채웠습니다 — 그리고 하네스가 둘 다의 오류를 잡았습니다

PART 01 · Setup바꾼 것은 둘, 채점한 것은 열네 가지였습니다

시험 대상은 조달 시스템에 공개된 RFP 1건입니다. 지방 공제기관의 정보시스템 운영·유지관리 사업으로, 2026년에 공고됐습니다. 계약 기간은 36개월, 요구사항은 122건입니다. 인공지능(AI)을 다루는 사업이 아니라, 공공 소프트웨어 사업에서 가장 흔한 운영·유지관리 유형을 골랐습니다.

같은 상용 생성형 AI 모델을 서로 격리된 세션에서 네 번 돌렸습니다. 도구와 인터넷은 막았습니다. 네 번 모두 RFP 본문 약 13만 자를 똑같이 넣었습니다. 바꾼 것은 두 가지뿐입니다. 하나는 프롬프트이고, 다른 하나는 사내 지식을 붙였는지입니다.

A는 프롬프트만, D는 사내 RAG만, B는 둘 다 쓴 조건입니다. C는 둘 다 없는 조건입니다. 표는 한 줄 요청 두 벌을 먼저 놓았습니다.

한 줄 요청은 “RFP를 보고 사업수행계획서 초안을 써 달라”는 두 문장입니다. 6단계 프롬프트는 법정 서식의 16개 목차를 따라 요구사항 추적과 미확정 사항 기록까지 요구합니다. 사내 지식은 카드 26장, 약 8천 자로 묶었습니다.

점검 항목은 14개를 다섯 묶음으로 나눴습니다. 형식 5개, RFP 대응 4개, 법령 판단 3개, 운영 선례 1개, 사실 오류 1개입니다. RFP 대응 4개는 RFP 안의 모순 3개와 인수 계획 1개입니다.

판정은 세 단계입니다. 항목의 요구를 본문에 온전히 적었으면 충족, 일부만 적었거나 미확정으로만 언급했으면 부분, 언급이 없으면 없음입니다.

초안 원문과 항목별 근거 위치는 발주기관이 드러나지 않도록 공개하지 않습니다.

PART 02 · Prompt프롬프트는 형식을 세웠고 법령은 비워 두었습니다

한 장에 펴면 차이가 바로 보입니다. 형식 줄은 프롬프트를 받은 두 벌만 진합니다. 법령과 선례 줄은 사내 RAG를 받은 두 벌만 진합니다.

6단계 프롬프트만 쓴 A는 형식 5개 중 4개를 채웠습니다. 법정 목차 16개를 순서대로 세웠고, 요구사항 25개 대표 행을 절·산출물·검사 기준에 이었습니다. 미확정 사항 12행에는 담당과 기한을 붙였습니다. 한 줄 요청만 받은 C는 형식 항목을 하나도 채우지 못했습니다.

그런데 A의 법령 줄은 충족 0/3입니다. 발주기관에 어떤 법령이 걸리는지 가리지 않았고, 참여인력 서식 판단은 미확정으로만 남겼습니다. 6단계 프롬프트에 법령 요약이 없었던 것은 아닙니다. 착수계 기한 10일, 법정 서식 16개 목차, 제42조 예외 한 줄이 들어 있었습니다. 없던 것은 이 발주기관에 어떤 조문이 걸리는지 대조할 조문 원문이었습니다.

형식은 프롬프트로 세울 수 있었지만, 적용 여부를 가릴 원문은 프롬프트 밖에 있었습니다. RFP 안의 모순 찾기는 조금 달랐습니다. 네 벌 모두 서비스 수준 협약(SLA) 일정 충돌을 찾았습니다. 모순 3건 가운데 C는 1건만 온전히 짚었고, 나머지 세 벌은 2건 이상을 온전히 찾았습니다. 인수 주차별 계획은 한 줄 요청만 받은 C가 가장 잘 썼습니다.

PART 03 · Knowledge사내 RAG가 채운 것은 법령과 선례였습니다

사내 카드를 받은 두 벌은 법령 항목 3개를 모두 채웠습니다. 한 줄 요청만 받은 D도 3/3이었습니다. 정교한 프롬프트를 받은 A의 0/3과 대조됩니다. 이번 실행에서는 프롬프트의 정교함보다 사내 원문의 유무가 법령 판단을 갈랐습니다.

가장 분명한 예가 점검 10번, 적용 법령의 범위입니다. 사내 카드 중 소프트웨어 사업 관리감독 지침 조문은 “국가기관등의 장”을 주어로 씁니다. 조문이 국가기관등의 장에게 의무를 지우므로, 국가기관등이 아닌 발주기관에 그 절차가 그대로 적용된다고 단정할 수 없습니다. RFP 본문에는 발주기관이 국가기관등에 해당하지 않는다는 문장이 있습니다. 이 두 조각을 이어야 판단이 나옵니다.

B는 이렇게 적었습니다. “과업심의위원회 절차는 적용 여부가 불확실하다. [발주기관]이 SW진흥법상 국가기관등에 해당하지 않기 때문이다(p.21).” 과업심의위원회는 과업 내용을 바꿀 때 심의하는 위원회이고, SW진흥법은 소프트웨어 진흥법입니다. 인용에서 카드 ID와 로그 번호는 생략하고, 기관 약칭은 [발주기관]으로 바꿨습니다. 같은 RFP 문장을 받은 A와 C는 이 대목을 쓰지 않았습니다.

선례도 같습니다. B와 D는 운영 요청을 긴급·고정일·표준·무형의 네 서비스 등급으로 나눠 관리하겠다고 썼습니다. 진척을 여러 기준선으로 겹쳐 보겠다고도 했습니다. 모두 종료 사업 교훈 카드에 있던 내용입니다. 이 항목은 카드가 있어야 채울 수 있는 항목이므로, 효과의 증거라기보다 효과의 정의에 가깝습니다.

사내 지식은 저자의 전제도 고쳤습니다. 법령 서가를 만들다가 서식 작성요령과 지침 본문의 예외 범위가 다르다는 것을 찾았습니다. 실험 뒤에는 B·D의 결과에서 국가기관등 적용 범위라는 두 번째 빈틈을 찾아 제 프롬프트를 고쳤습니다.

PART 04 · Graph관계를 잇는 일은 그래프에 맡길 후보입니다

먼저 분명히 해 둘 것이 있습니다. 이번 실험이 시험한 것은 사내 RAG, 즉 카드 26장의 검색·주입까지입니다. 지식 그래프(Knowledge Graph)는 시험하지 않았습니다. 이 절은 관찰된 결함에서 거꾸로 따진 [추론]입니다.

사내 RAG가 준 것은 조각이었습니다. B와 D는 두 조각을 받아 이었지만, 잇는 일은 모델의 몫이었습니다. 이었는지 확인하는 장치는 없었습니다. 잇지 못해도 오류 표시는 나오지 않습니다. 법령 카드가 없던 A는 RFP 문장을 갖고도 아무 표시 없이 지나갔습니다.

첫째는 적용 관계입니다. “이 조문의 적용 대상은 국가기관등”, “이 발주기관은 국가기관등이 아님”을 관계로 저장하면 됩니다. 그러면 “이 발주기관에 걸리는 조문”은 모델의 추론이 아니라 질의가 됩니다.

둘째는 개체 제약입니다. B는 어플리케이션 운영 관리(AA) 인력 1명을 인프라로 넣어 응용 14명, 인프라 6명으로 적었습니다. RFP 표는 응용 15명, 인프라 5명입니다. 그런데 사업관리 6명을 더한 합계는 두 경우 모두 26명입니다. 합계만 검사하면 이 오류는 통과합니다. 역할과 분야의 소속 관계를 데이터로 가져야 잡힙니다.

셋째는 출처 연결입니다. A는 착수계를 “계약 후 10일 이내” 제출한다고 쓰고, 출처를 RFP 요구사항으로 달았습니다. 10일은 지침 제39조에 있는 법정 기한이고, 프롬프트가 알려 준 값이었습니다. 정작 인용한 요구사항에는 ‘착수 전’과 ‘하도급 승인 후 3일’만 있습니다. 주장과 출처를 선으로 이어 두면 값이 출처에 있는지 기계가 대조할 수 있습니다.

그래프와 하네스의 몫은 나뉩니다. 그래프는 대조할 관계를 데이터로 저장하고, 그 관계로 초안을 실제로 검사하는 일은 하네스가 합니다. 개체 제약과 출처 연결이 이 절과 뒤의 검사표에 모두 나오는 이유입니다.

그래서 사내 지식은 문서 더미가 아니라 관계가 있는 자산이어야 한다고 봅니다. 이것도 [추론]이며, 다음 실험에서 확인할 가설입니다.

PART 05 · Harness가장 좋은 초안도, 분석한 저자도 틀렸습니다

네 벌 중 세 벌에 사실 오류나 근거 오기가 남았습니다. 표본으로 초안마다 주장 15~20개를 RFP·법령과 대조한 결과입니다. 프롬프트와 사내 RAG를 모두 갖춘 B도 예외가 아니었습니다.

D도 처음에는 오류로 셌습니다. D는 “실제 계약은 2026년 9월이다”라고 쓰고, 계약일을 실행일과 같은 9월 21일로 잠정 표시했습니다. 이 글을 검토한 별도 AI 평가자가 그 판정의 근거를 물었습니다. 다시 보니 실행 환경의 날짜가 모델에 보였고, 한 줄 요청은 방금 계약을 체결했다고 가정하라고 했습니다. C 초안에도 “오늘(2026-09-21)”이라는 표현이 나옵니다. 입력에서 따라 나오는 추론이었고 미확정 표시도 했으므로, 오류 판정을 철회했습니다.

오류는 초안에만 있지 않았습니다. 저는 AA 분류를 RFP 텍스트의 줄 배치만 보고 추측했다가 틀렸습니다. 요구사항 인용 수를 세는 제 스크립트는 “001~004” 같은 범위 표기를 세지 못했습니다. 보고서 초고에는 “RFP 안의 모순은 네 벌 모두 찾았습니다”라고 적었지만, C는 모순 3건 중 1건만 온전히 찾았습니다. 앞의 D 판정도 제 오판이었습니다.

이 오류들을 잡은 것은 세 장치였습니다. 입력·인용 대조는 주장의 값이 입력과 인용한 쪽에 있는지 봤습니다. 원본 재대조는 RFP 원본 표 이미지로 분류를 다시 맞췄습니다. 독립 검토는 초안이 아니라 제 보고서와 이 글을 봤습니다. 보고서를 쓰지 않은 별도 AI 평가자가 보고서를 두 번, 이 글을 한 번 검토했습니다.

보고서 1회차 검토는 치명 1건, 주요 6건, 경미 7건으로 반려했습니다. 2회차는 주요 1건, 경미 9건을 남기고 수정 조건부로 통과시켰고, 남은 지적은 원문과 다시 대조해 반영했습니다.

이번에 실제로 오류를 잡은 것은 사람의 원문 대조, 대조 스크립트, 별도 AI 평가자였습니다. 다음 절의 검사표는 이 경험을 자동 검사로 옮긴 설계입니다. 하네스는 AI를 감시하는 장치가 아니라, 사람을 포함한 생성 과정 전체를 검증하는 장치였습니다.

PART 06 · DesignPM·PMO의 AI는 네 층으로 짓습니다

관찰을 층으로 정리하면 네 층입니다. 층을 쌓는 순서는 이번 실험이 시험하지 않은 [설계]입니다. 하네스가 검사 기준을 사내 지식과 RFP 개체에서 가져오므로 사내 지식을 먼저 둡니다.

지금 보이는 결함에 따라 먼저 손볼 층이 다릅니다.

맨 아래 사내 지식 층에는 네 가지가 필요합니다. 법령 원문과 그 적용 관계, 종료 사업의 교훈, 검토 지적 패턴, 그리고 RFP에서 뽑은 개체입니다. 교훈과 지적 패턴은 애초에 회사 안에만 있습니다.

맨 위 가드레일·하네스 층은 PM·PMO 문서에 맞춰야 합니다. 유해 표현을 거르는 일반 가드레일은 이번 오류와 겨누는 곳이 다릅니다. 이번에 관찰한 오류에 맞춘 검사는 다음과 같습니다.

그리고 층 밖에 사람이 쥐는 결정이 있습니다. 계약 방식의 판정, 적용 법령의 최종 해석, 문서 발송 승인입니다. AI는 이 결정을 미확정으로 표시해 넘기는 데까지 합니다.

PART 07 · Limits이 실험이 말하지 못하는 것

이 실험은 경향을 보여 주는 예시입니다. 효과의 크기를 입증하지는 않습니다. 아래 한계를 먼저 읽어 주십시오.

가장 큰 한계는 표본입니다. 조건마다 한 번이므로 “RAG가 법령 판단을 몇 퍼센트 올린다” 같은 말은 할 수 없습니다. 말할 수 있는 것은 이번 실행에서 무엇이 어디를 채웠는지까지입니다.

PART 08 · Practice같은 실험을 사내 자산으로 돌리는 법

재현 순서는 단순합니다. 종료한 운영·유지관리 사업 1건을 고르고, 착수 시점의 RFP를 준비합니다. 그 사업을 뺀 종료 사업 자료로 카드를 만들고, 점검 항목을 먼저 적은 뒤 네 조건을 돌립니다. 최종 산출물은 네 조건을 항목별로 채점한 비교표 한 장입니다.

이번 실행은 조건마다 3~8분이 걸렸습니다. 카드 작성과 채점에 든 시간은 재지 않았습니다.

한 줄 요청(C·D 조건)은 아래 두 문장 그대로 썼습니다. D에는 “참고 자료로 사내 지적자산 회수분을 첨부합니다” 한 줄을 더했습니다.

아래 제안요청서를 보고 사업수행계획서 초안을 작성해 주세요. 우리 회사가 이 사업을 방금 수주해 계약을 체결했다고 가정합니다.
도구·인터넷 없이 이 메시지 안의 자료만 쓰고, 한국어 마크다운으로, 전체 약 2만 5천 자를 넘기지 않게 써 주세요.

6단계 프롬프트는 전문을 싣지 않았습니다. 아래 뼈대를 여러분 조직의 수행계획서 프롬프트로 채우면 A·B 조건이 됩니다. 이번에는 여기에 세 조건을 더했습니다. 계약 일정은 RFP를 따른다는 작성 조건, 분량 상한, 원문을 확인하지 못한 법령 인용에 [U]를 붙이는 인용 규칙입니다.

1 요구 전수     RFP의 모든 요구 ID를 표로 뽑는다(ID·요지·유형·쪽)
2 목차 결정     발주기관 지정 목차가 없으면 법정 서식 16개 목차를 그대로 쓴다
3 선례 회수     유사 사업마다 닮은 점·다른 점을 한 줄로 쓰고, 닮지 않은 것은 버린다
4 절별 초안     문단 끝에 근거 요구 ID를 단다
5 추적·대비표   표보다 미매핑 요구 목록을 먼저 낸다. "누락 없음"을 선언하지 않는다
6 자가 점검     미확정 결정 로그(담당·기한·잠정 기준·영향)를 먼저 쓴다

카드는 ID, 출처, 원문 순으로 씁니다. 모델이 근거를 쓸 때 카드 ID를 달게 하면 나중에 인용 대조가 쉬워집니다. 아래는 공개 고시로 만든 법령 카드의 형식입니다.

[LAW-01] 정보시스템 구축·운영 지침(행정안전부 고시) 제39조 — 착수 및 보고
① 사업자는 계약체결 후 10일 이내에 별지 제5호 서식의 정보시스템 사업 착수계를
   작성하여 행정기관등의 장에게 제출하여야 한다. 단, 하도급 승인이 필요한 경우
   하도급 승인을 받은 날로부터 3일 이내에 제출하여야 한다.
사용 규칙: 근거로 쓰면 카드 ID를 단다. 카드에 없는 조문·수치를 새로 만들지 않는다.

점검 항목은 초안을 보기 전에 먼저 적어 두십시오. 이번 14개를 출발점으로 써도 됩니다.

형식     1 법정 서식 목차  2 요구사항 ID별 추적  3 미확정 사항 결정 로그
         4 RFP 표기·정의 오류 보고  5 최종 검사 후 재검사 여유
RFP 대응 6 SLA 일정 충돌  7 장애 처리시간 충돌  8 원격작업 규정 모순  9 인수 주차별 계획
법령     10 적용 법령 범위  11 착수계 기한의 법령 근거  12 참여인력 서식의 법령 판단
선례     13 운영 방식 선례
오류     14 사실 오류·근거 오기 없음(1건=부분, 2건 이상=없음)

PART 09 · Closing세 줄로 다시, 그리고 이번 주에 할 일

프롬프트는 형식을 세웁니다. 사내 지식은 법령과 선례 판단을 채웁니다. 둘 다 있어도 오류는 남으므로, 생성과 분리된 검증이 필요합니다.

이번 주에 할 수 있는 일은 둘입니다. 첫째, 지난 분기에 제출한 수행계획서 한 건을 고르고, 그 사업에 걸린 법령 조문 세 개를 국가법령정보센터에서 원문 그대로 복사해 카드로 만드십시오. 그다음 계획서와 카드를 함께 넣고 이 한 줄을 입력해 보십시오. “이 카드들의 적용 대상 기관 유형과 이 사업 발주기관의 해당 여부를 표로 정리해 줘. 카드에 없으면 미확정으로 표시해 줘.” 미확정으로 남는 조문 목록이 지식 그래프에 넣을 관계 후보의 출발점입니다.

둘째, 그 답에서 조문 번호·기한·인원처럼 확인할 수 있는 값 5개를 골라 원문과 직접 대조하십시오. 맞으면 ○, 틀리면 ×를 표에 남깁니다. AI가 자신 있게 “해당”이라고 답한 칸도 대조 대상에 넣으십시오. 이 표가 여러분 조직의 첫 하네스입니다.

함께 읽으면 좋은 글은 두 편입니다. 사내 RAG를 실제로 어떻게 운영하는지는 AX PM 컨설턴트의 Sillok·3층 RAG 운영에 있습니다. 사내 RAG를 인수할 때 무엇을 시험해야 하는지는 사내 RAG의 진짜 테스트: 부서 이동과 문서 개정을 견디는가에 있습니다.

이 글의 실험 초안 4벌은 생성형 AI가 썼고, 채점과 원문 대조는 저자가 했습니다. 본문은 저자의 실험 기록을 바탕으로 생성형 AI의 보조를 받아 작성했으며, 수치는 실험 원장에서 계산했습니다. 발주기관과 사업은 익명으로 표기했습니다.