AI에게 시키는 사람에서 근거로 검증하는 발주 담당자로 — 코레일 AX PMO 과정, 법령·표준 RAG와 갑·을 War Game

현장 검증 · 한국철도공사 AX PMO 과정 · 코치 회고

1라운드가 끝나고 조별 프롬프트 12장을 화면에 나란히 띄웠습니다. 승인 권한자와 기한을 적은 프롬프트는 두 장이었고, 안전·R&D·데이터 법령을 적은 프롬프트는 아직 없었습니다. 법령은 이미 각자의 RAG에 들어 있었습니다. 지식을 갖추는 일과 그 지식을 평가에 쓰게 하는 일 사이의 간격, 이 과정이 메워야 할 자리가 그 화면에 있었습니다.

한국철도공사 AI전략본부와 함께한 사흘의 기록입니다. 참가자는 발주·PMO 업무를 맡은 분들이었습니다. 수행사가 AI로 만든 제안서와 산출물이 곧 이분들의 책상에 올라옵니다. 이 글은 셋째 날의 War Game을 라운드 순서로 따라가고, 앞의 이틀은 그 시합을 위한 준비운동으로 다룹니다. 글 끝에는 다음 RFP 한 건을 바로 점검할 프롬프트가 있습니다.

실습 재료참가자의 사업을 포트폴리오 한 장에 올렸습니다

첫날 참가자들이 적어 낸 사업을 모아 보니 전사 AI 전환이라는 포트폴리오 하나 아래로 프로그램 다섯 개가 나왔습니다. ISO 21500:2021의 개념으로 포트폴리오는 전략 목표를 위해 묶인 일의 모음입니다. 프로그램은 그 아래에서 편익을 함께 내는 사업의 묶음입니다. 각 사업은 끝이 있는 구축이면 프로젝트, 계속 도는 서비스면 프로덕트로 나눴습니다.

표 1. 참가자 사업의 분류 — 사업명은 공개 수준으로 일반화했고, 프로젝트·프로덕트 구분은 코치의 정리입니다.

이 한 장이 사흘 내내 실습의 바탕이 됐습니다. 셋째 날 War Game도 여기서 대표 사업 넷을 골라 판을 짰습니다. 전사 AI 허브, 승차권 예약·발매 고도화, 통합 안전관리 플랫폼, 전사자원관리 AI 고도화입니다. 참가자는 자기 사업을 이 네 판 중 하나에 접목해 시합에 들어갔습니다.

준비운동이틀 동안 창과 방패, 그리고 기억을 쥐여 드렸습니다

첫날의 주제는 ‘창과 방패’였습니다. 참가자는 먼저 을의 자리에서 유사 RFP로 제안서를 만들었습니다. 그다음 갑의 자리로 돌아와 그 제안서를 검사했습니다. 만들어 본 사람이 빈칸을 압니다.

또 하나의 기법은 ‘지시 대신 질문’이었습니다. 무엇을 시키기 전에 “어떤 기준으로 어떻게 평가할까?”를 먼저 묻게 했습니다. 그 답을 정리하면 평가계획서가 되고, 평가계획서는 곧 평가를 수행할 에이전트의 요구사항 문서(PRD), 다시 말해 작업지시서가 됩니다.

둘째 날의 주제는 ‘기억’이었습니다. 첫날 회고에서 “요구사항이 부실했던 이유는 기억이 없어서”라는 정리가 나왔기 때문입니다. 이날 하네스의 세 요소를 갖췄습니다. 프롬프트 고도화, 지침을 담는 myDNA, 지식을 붙이는 검색 증강 생성(RAG)입니다.

표준은 두 층으로 나눠 넣었습니다

공공 발주에서 가장 흔한 혼동은 법과 관리 체계를 섞는 것입니다. 그래서 표준 서고를 두 층으로 나눴습니다.

표 2. 표준·법령 서고 — 공공 가이드에는 사업관리·감리 가이드 4종이 들어 있습니다.

국내 법적 근거가 없는 PMI 산출물을 법정 의무처럼 표시해서는 안 됩니다. 사업에 필요한 산출물은 관계 법령을 지키며 과업·계약 조건에 명시하면 됩니다. 반대로 법정 산출물을 “PMI에 없다”는 이유로 빼서도 안 됩니다. 이 원칙을 myDNA 첫머리에 적었습니다. 감리와 프로젝트관리조직(PMO)의 구분도 같은 방식으로 다뤘습니다. 법은 감리를 정하고, 코레일은 PMO가 주도하되 감리를 관문으로 둡니다.

첫 층 — 국내 법령·고시 28건과 준수 핵심

첫 층의 28건을 업무 묶음 다섯으로 나누고, 조문 제목에서 준수 핵심을 키워드로 뽑았습니다. 평가 에이전트가 RFP를 검사할 때 먼저 불러야 할 목록이기도 합니다. 기관과 사업에 따라 해당하지 않는 묶음은 건너뛰셔도 됩니다.

표 3. 국내 법령·고시 28건과 준수 핵심 — 키워드는 국가법령정보센터 원문의 조문 제목에서 뽑았습니다. 법적 해석이 아니라 점검의 출발점입니다.

글 끝 프롬프트에 해당 묶음의 법령 원문을 함께 넣으면 이 표가 점검의 출발점이 됩니다. 법령 옆에는 공공 가이드 9건을 함께 두었습니다. 법령이 ‘무엇을’을 정한다면, 가이드는 ‘어떻게’를 보여 줍니다.

표 4. 공공 가이드 9건 — 두 번째 층의 PMI 표준 29건은 관리 체계와 용어의 기준으로 따로 두었습니다.

첫날 이미 층마다 필요한 에이전트를 골랐습니다

첫날 오후에는 참가자들이 적은 고민을 에이전트 후보로 바꿨습니다. 같은 에이전트라도 어느 층의 일을 돕는지에 따라 쓰임이 다릅니다. 그래서 포트폴리오부터 프로덕트까지 층으로 나눠 열다섯 개 후보를 정리했습니다.

표 5. 층별 에이전트 후보 15종 — 참가자 고민 원문에서 뽑아 코치가 정리했습니다.

둘째 날에는 본부장 에이전트도 함께 설계했습니다. 본부장 전용 RAG에 자주 하는 지시와 질문을 골든 룰로 모으고, 주간 리서치 리포트를 초안으로 올리는 구조입니다. 초안은 사람이 확정한다는 조건을 처음부터 달았습니다.

3일차 아침시합 전에 각자의 PC에 검증 도구를 설치했습니다

셋째 날 오전에는 참가자 PC마다 같은 폴더를 설치했습니다. 표준 마크다운, 표준 RAG, 그리고 발주·PMO 총괄 관점의 myDNA입니다. 설치 프롬프트는 네 줄이었고, 설치 뒤에는 작동 확인과 표준 적용성 판정을 안내했습니다.

라운드 1법령 RAG를 설치한 뒤에도 프롬프트에는 법령이 적히지 않았습니다

1라운드는 조별로 갑 또는 을의 프롬프트를 쓰는 것이었습니다. 갑은 RFP와 과업대비표로 수행사를 검사하는 프롬프트를, 을은 같은 RFP로 제안·수행 계획을 만드는 프롬프트를 씁니다. 모두 12장이 나왔습니다.

1위 점수만 보면 훌륭했습니다. 그런데 12장을 나란히 놓자 공통 공백이 보였습니다. 누가 언제까지 승인하는지를 적은 프롬프트는 두 장, 스스로 검증하라는 지시는 다섯 장이었습니다. 안전·R&D·데이터 법령은 12장 모두 비어 있었습니다.

철도 사업의 평가는 안전 법령에서 출발합니다. 그런데 12장 어디에도 그 법령이 적혀 있지 않았습니다. 1라운드 과제가 RFP·과업대비표 검사였다는 점도 함께 봐야 합니다. 법령을 따로 묻지 않는 과제였다면 이 공백은 참가자의 누락이라기보다 질문 설계의 공백입니다. RAG 설치와 별개로, 법령을 확인하도록 질문을 설계해야 한다는 것을 이 화면에서 발견했습니다. 제가 본 것은 지식을 넣는 일과 지식을 쓰게 하는 일이 서로 다른 일이라는 사실이었습니다.

라운드 2입장을 바꾸고 질문을 보태자 결함 27칸 중 13칸이 채워졌습니다

2라운드에서는 갑과 을을 바꿨습니다. 갑이었던 조가 을의 프롬프트를, 을이었던 조가 갑의 프롬프트를 고쳤습니다. 상대 자리에 서 보면 내 프롬프트의 빈칸이 보입니다.

이때 골든 룰 질문 하나를 더했습니다. “건강하니?”처럼 답이 뻔한 질문을 쓰지 말고 확인 가능한 행동을 묻게 했습니다. 예를 들면 “검사 기준 조문과 증적 파일명을 함께 제시했는가”입니다.

1라운드 판정표에서 결함으로 표시된 칸은 27칸이었습니다. 2라운드 재채점에서 그중 13칸이 충족으로 바뀌었습니다. 채점은 AI 채점 엔진 두 개로 따로 돌렸고, 두 결과의 이 숫자가 같았습니다. 입장 교대와 질문 보강이 함께 들어갔기에 어느 쪽의 효과인지는 나누지 못했습니다. 전부 채워지지는 않았고, 이 점수는 어디까지나 교육용 AI 채점 초안입니다. 실제 평가나 승인이 아닙니다.

라운드 3공통 에이전트 위에 사업 특화 에이전트를 얹었습니다

3라운드의 과제는 에이전트 설계였습니다. 두 라운드의 프롬프트를 모아 모든 판이 같이 쓰는 공통 에이전트를 만들고, 그 위에 사업마다 가장 중요한 검증 포인트 하나를 맡는 특화 에이전트를 얹었습니다.

저도 이 설계도로 RFP 에이전트 하나를 직접 만들어 보였습니다. 자동 시험 47개를 통과했고, 실제로 다섯 번 돌려 봤습니다. 그러나 사업 인수 기준과 법적 적용성은 검증하지 않았습니다. 참가자 각자의 에이전트 실행 결과도 아직 관측하지 못했습니다.

참가자“일을 시키는 사람”에서 “근거로 검사하는 사람”으로

첫날과 둘째 날 회고 16건 중 8건이 실습을 좋았던 점으로 꼽았습니다. 에이전트로 만들고 싶은 일은 거의 모든 분이 적었습니다.

셋째 날 회고는 결이 달랐습니다. 실습 만족을 넘어 ‘내 역할이 바뀌었다’는 말이 나왔습니다.

표 6. 3일 회고 17건 — 한 응답이 여러 묶음에 들어갈 수 있습니다(분류는 코치의 해석).

발주 관점의 전환을 적은 회고들의 요지는 같았습니다. “AI에게 일을 시키는 사람”에서 “AI가 한 일을 근거로 검사하는 발주기관 담당자”로 바뀌었다는 것입니다. 이 과정이 노린 변화가 정확히 그것이었습니다.

다음 과제사내망 이식과 기술 협상 실습은 다음 단계로 남겼습니다

아쉬움 7건 중 2건은 폐쇄망이었습니다. 사내망에서는 이날 쓴 도구를 그대로 쓸 수 없습니다. 첫날과 둘째 날 회고에도 같은 지적이 있었고, 사전 지식이 부족해 따라가기 어려웠다는 의견도 여러 건이었습니다.

공공 사업에서는 세 역할을 섞지 않아야 합니다. 교육 중의 점수와 1위는 그중 어느 것도 대신하지 않고, 수료가 곧 현장 효과의 증거도 아닙니다.

정리표준 × AI 리터러시가 발주기관에 남긴 것

이 과정이 노린 것은 하나였습니다. 발주·PMO 실무자가 법령과 글로벌 표준을 자로 삼고 AI 리터러시를 도구로 써서, 자기 평가 역량과 사업의 건강도를 객관적으로 높이는 것입니다. 층위마다 남은 것을 정리합니다.

표 7. 코치가 정리한 과정 인사이트 — 심사 기록과 회고에서 반복된 것만 남겼습니다.

앞으로교육장에서 실제 사업으로 가는 길

가장 먼저 풀어야 할 것은 폐쇄망입니다. 교육장에서 돈 폴더가 사내망에서 그대로 돌지 않으면 배운 것이 책상까지 오지 못합니다. 그다음은 관측입니다. 과정이 끝나고 한두 주 뒤에 참가자들이 만든 에이전트의 실행 결과를 회수해야 비로소 효과를 말할 수 있습니다.

더 길게 보면 표준 RAG를 개인 폴더가 아니라 기관의 공용 서고로 키우는 방향을 제안합니다. 법령·고시가 개정될 때마다 한 곳에서 고치고 모두가 같은 판을 쓰는 구조입니다. 그 위에서 다음 RFP 평가 한 건에 평가계획서 에이전트를 시범으로 붙여 볼 수 있습니다. 이번에 못 한 기술 협상 카드와 수행 평가 골든 질문지도 그때 함께 다듬으면 좋겠습니다.

닫으며다음 RFP 한 건으로 혼자 시작할 수 있습니다

발주기관의 준비는 두 가지로 요약됩니다. 두 층의 표준을 구분하는 지침, 그리고 법령을 실제로 부르는 질문입니다.

준비물은 세 가지입니다. 다음에 받을 RFP 한 건, 함께 검토할 법령·고시 원문(표 3의 해당 묶음), 파일을 첨부하거나 폴더를 읽을 수 있는 사내 허용 AI 도구입니다. 아래 프롬프트를 보내면 ‘RFP 점검표’ 한 장이 나옵니다.

[역할] 당신은 공공 발주기관의 사업 담당자이자 PMO입니다. 수행사의 제안과 산출물을 근거로 검사하는 쪽에 섭니다.
[자료] 이 폴더의 RFP·첨부 문서와 함께 넣은 법령·고시 원문만 근거로 씁니다. 먼저 읽은 파일 목록을 보고합니다.
[할 일] 이 RFP를 세 가지 관점으로 점검합니다.
  ① 승인 권한자와 기한이 정해져 있는가
  ② 검사 기준과 증적이 무엇인가
  ③ 적용 법령은 무엇인가(안전·개인정보·데이터 포함)
[출력] 항목마다 「충족 · 보완 · 결함 · 증거 부족」 판정, 근거 쪽 번호, 확인 주체(발주기관·수행사)를 표 한 장으로 정리합니다.
[규칙] 국내 법령·고시와 PMI 표준을 구분해 표시하고, 조문을 확인하지 못한 칸은 [U]로 남깁니다. 법령 원문이 없으면 ③은 RFP에 적힌 범위만 점검합니다.

[U] 가운데 확인 주체가 수행사인 칸이 다음 회의에서 수행사에게 물을 질문입니다. 발주기관이 정할 칸은 내부에서 먼저 정합니다.

다음 읽을 글