업무용 AI Agent는 ‘프롬프트’가 아니라 ‘구조’에서 시작합니다
유능한 신입에게 일할 자리를 마련해 주듯, 구조의 여섯 기둥을 세워 주면 됩니다. 제 컨설팅 과정 전체(제안·기획·실행·사후)에 그 구조를 직접 세워 봤습니다.
① Agent는 프롬프트 한 줄이 아니라 여섯 개의 기둥으로 된 구조입니다. 현장 지식·절차·판단·산출·학습.
② 저는 그 구조를 제 과정의 제안 → 기획 → 실행 → 사후관리 전체에 그대로 세워 작동시켰습니다.
③ 당신의 업무에도 같은 골격을 세울 수 있습니다. 이번 주에 시작할 첫 한 줄까지 적어 두었습니다.
워크숍 책상 옆에서 자주 듣는 말이 있습니다. “시켜 봤는데, 그럴듯한데 틀렸어요.” 프롬프트를 아무리 잘 써도 한 번씩 무너집니다. 그래서 많은 분이 “역시 아직은 못 믿겠다”로 끝냅니다.
“프롬프트 → 산출물 → 피드백 → 개선의 선순환을 직접 체험했습니다.”
— LG전자 소프트웨어 PM 워크숍 참가자 무기명 후기 원문
차이는 한 가지였습니다. 신뢰가 서는 분은 프롬프트를 잘 쓴 게 아니라, 그 일을 둘러싼 구조를 먼저 세웠습니다. 오늘은 그 구조를 그림으로 보여 드리고, 제 과정 전체에 적용해 본 결과까지 이어 가겠습니다.
똑똑한 동료를 온보딩하듯, 여섯 개의 기둥을 세운다
좋은 Agent는 좋은 신입과 같은 방식으로 만들어집니다. 똑똑한 신입에게도 우리는 자리를 만들어 줍니다. 무슨 일을 하는 부서인지 알려 주고, 절차를 주고, 좋은 결과의 기준을 알려 줍니다. Agent도 똑같습니다.
그 기둥은 여섯 개입니다. 아래 순서대로 세워집니다.
이름이 어렵게 들리지만 뜻은 단순합니다. ① 현장 지식은 “내 업무가 무슨 동네인가”입니다. ② 절차는 “어떤 순서로 하나”, ③ 단계는 그 순서에 끼운 점검문, ④ 판단은 “무엇이 좋은 결과인가”입니다. ⑤ 산출은 손에 드는 결과물, ⑥ 학습은 그 결과로 앞의 기둥을 고치는 일입니다.
빠른 손과 느린 머리, 두 개의 LOOP가 같이 돌아야 믿을 만하다
구조에는 세 개의 층이 있습니다. 무엇을 어떤 품질로 할지(거버넌스), 실제로 어떻게 움직일지(실행), 무엇 위에서 돌지(기반)입니다. 직장인에게 중요한 건 그 안에서 도는 두 개의 LOOP입니다.
| LOOP | 무엇을 하나 | 시간 단위 |
|---|---|---|
| 빠른 LOOP (실행) | 관찰 → 생각 → 행동 → 점검을 한 작업 안에서 수십 번 돈다. “이번 결과물을 잘 만든다.” | 초 ~ 분 |
| 느린 LOOP (학습) | 끝난 일에서 배운 것을 절차·판단 기준에 되돌린다. “다음부터 더 잘 만든다.” | 하루 ~ 주 |
여기서 가장 중요한 대목이 점검문입니다. 사람이 반드시 손을 쥐어야 하는 곳, 곧 사람 사전 승인(Human-in-the-Loop·HITL)입니다. 외부로 나가는 발송, 회사 기밀, 돈이 걸린 확정. 이 셋은 Agent가 혼자 끝내게 두지 않습니다.
신뢰는 여기서 옵니다. 검색으로 근거를 붙이고(검색증강생성·RAG), 자기 초안을 한 번 더 비평하게 하고(AI 빨간펜), 위험한 지점에서 사람이 손을 쥡니다. 그러면 “그럴듯한데 틀린” 답이 실무에 쓸 수 있는 수준까지 내려옵니다. (검색 근거 적용 시 환각 감소는 공개 자료 기준 — 업무·데이터 품질에 따라 달라집니다.)
여섯 기둥과 두 LOOP를 한 장으로 포개면, Agent의 전체 구조는 세 개의 층이 됩니다. 무엇을 할지(거버넌스), 어떻게 움직일지(실행), 무엇 위에서 돌지(기반)입니다.
신뢰는 더 똑똑한 모델이 아니라, 제가 직접 깐 하네스에서 나왔습니다
데모는 누구나 만듭니다. ‘실무에 쓸 수 있는가’에서 갈립니다. 그 분기점은 모델의 머리가 아니라, 모델을 둘러싼 구조, 곧 하네스(harness)입니다. 제 경우는 컨설턴트용 하네스를 직접 만들었습니다. (Sillok · 오픈소스)
그 위에 두 가지를 얹었습니다. 근거를 찾아 붙이는 검색증강생성(RAG), 쌓인 지식을 꺼내 쓰는 지식 저장소(Vault, Obsidian RAG 활용)입니다. 작동 원리는 단순합니다. 근거를 붙이고, 스스로 한 번 비평하고, 위험한 지점은 사람이 쥡니다. 이 세 관문을 통과한 답만 산출로 인정합니다.
효과는 생소한 분야에서 가장 분명했습니다. 처음 다루는 영역의 산출물을, 하네스를 끄고 한 번, 켜고 한 번 만들어 제3자 기준으로 채점했습니다.
특히 날조가 7건에서 0건으로 사라진 게 컸습니다. 나머지가 정확할수록, 그럴듯한 거짓 한 줄이 신뢰를 통째로 가져갑니다. 근거를 강제하니 그 한 줄이 막혔습니다.
검색 근거(RAG)로 70~90% 줄이고 [공개 자료 기준], 자기비평으로 다시 절반 [자체], 마지막 위험한 지점은 사람이 쥡니다 [실무 기준 목표]. 업무·데이터 품질에 따라 달라집니다.
제 일에 직접 적용해 봤습니다 — 제안부터 사후관리까지
저는 기업의 제품·프로젝트·개발 리더(PO·PM·PL) 과정을 만드는 컨설턴트입니다. 제 일 자체가 네 단계입니다. 제안 → 기획 → 실행 → 사후관리. 이 네 단계 전체에 위 구조를 세웠습니다.
각 단계에서 Agent가 하는 일, 사람이 쥐는 일
| 단계 | Agent가 하는 일 | 사람이 쥐는 일(HITL) |
|---|---|---|
| 제안 | 지난 검증 자산을 찾아 초안, 시수·형식 자동 점검, 과장 없는 근거 정리 | 단가·제출 확정, 후기 인용 동의 |
| 기획 | 설계 → 작성 → 점검 세 역할로 교재 양산, 실습 80% 비율 확인 | 사실 검증, 빈칸을 답으로 채우지 않기 |
| 실행 | 참가자 데이터로 현장 그라운딩, 전원에게 동시 빨간펜 | 실데이터 외부 입력 금지, 강사 최종 판단 |
| 사후 | 후기 모으기, 회고에서 재사용 가능한 교훈 추출 | 실명 공개 동의, 성과 해석 |
특히 마지막 단계가 핵심입니다. 한 과정을 끝낼 때마다, 잘 된 절차와 기준을 다음 과정으로 되돌립니다. 오늘 제가 만든 제안 방식이 표준 절차로 회수되면, 다음 고객을 위한 제안은 자동으로 더 강해진 상태에서 시작합니다. 느린 LOOP가 도는 순간입니다.
“AI를 쓴다 하더라도 여전히 한계가 느껴집니다.”
— LG전자 워크숍 참가자 무기명 후기 원문. 한계를 본 것이야말로, 구조가 작동했다는 직접 증거입니다.
당신의 업무에도 같은 기둥을 세운다 — 이번 주 첫 한 줄
컨설턴트의 과정만 그런 게 아닙니다. 반복되는 업무가 있는 직장인이라면 누구나 같은 기둥을 세울 수 있습니다. 거창한 도구가 아니라, 순서가 핵심입니다.
| 기둥 | 이번 주 첫 행동 |
|---|---|
| ① 현장 지식 | 내 직무·매주 만드는 산출물·자주 쓰는 현장 용어를 한 장 표로 정리해 달라고 시킨다 |
| ② 절차 | 반복 업무 하나를 골라 “단계”로만 적는다 (5단계 이내) |
| ④ 판단 | “좋은 결과물의 조건 다섯 가지”를 먼저 주고 나서 일을 시킨다 |
| 빨간펜 | 결과를 그대로 쓰지 않는다. “이 초안의 약점 세 가지를 지적해 줘”를 한 번 더 |
| ⑥ 학습 | 잘 된 지시문과 절차를 메모로 남겨, 다음에 그대로 다시 꺼낸다 |
“내 직무는 ○○이고, 매주 만드는 산출물은 △△, 자주 쓰는 현장 용어는 □□야. 이걸 한 장 표로 정리해 줘.” — 여기서부터 시작하면 됩니다. ① 현장 지식 한 장이 나머지 다섯 기둥의 바닥이 됩니다.
한 번에 여섯 기둥을 다 세울 필요는 없습니다. ① 한 장부터 세우고, 한 주에 한 기둥씩 늘리면 됩니다. 그게 전부입니다. 느린 LOOP가 한 바퀴 돌 때마다, 당신의 Agent는 조금씩 더 똑똑해집니다.
이 시리즈의 다음 글에서는, ‘도구를 고르는 질문’보다 ‘역질문(되묻기)’이 왜 Agent 역량의 핵심인지 — KT Cloud 워크숍 현장 사례로 이어 갑니다. → AX 시리즈 전체 글 보기
글 · 김태영 코치 (PM 코치) · AX Series. 본문의 효과 수치는 자체 운영 실측 또는 공개 자료 기준이며, 업무·데이터 환경에 따라 달라질 수 있습니다.