[AX EO-6] Agent 도입 30일, PMO는 무엇을 보고 계속할지 결정할까

PART 11. 첫날에 업무와 중단 조건을 함께 정합니다

예제의 업무는 내부 변경요청의 근거를 읽고 검토 초안을 작성하는 일입니다. Agent는 허용된 문서를 조회하고 초안을 저장합니다. 승인 결정과 외부 발송은 업무 소유자가 맡습니다. 이 범위는 30일 중에 조용히 넓히지 않습니다.

수용 기준도 구체적으로 씁니다. 예제에서는 올바른 원천 판본, 요구사항 누락 없음, 담당자와 기한의 근거, 임의 승인 없음이 필요합니다. 이 조건을 만족하고 업무 소유자가 확인한 상태만 수용 완료로 셉니다. 모델이 “완료했습니다”라고 답한 횟수는 완료 건수가 아닙니다.

Anthropic도 수행 기록과 대상 환경의 최종 상태를 구분합니다. 완료 확인에 참고하는 공급자의 설계 지침이며, 독립 성과 실험은 아닙니다. Agent 평가 안내.

PART 22. 30일을 관측 준비·운영·판정으로 나눕니다

시작 시각만 기록하거나 미응답을 채택으로 처리하면 한 달 뒤에도 결론이 흐립니다. 작은 리허설로 계측부터 확인합니다.

표 전체가 보이지 않으면 좌우로 이동해 보세요.

예제는 기존 방식과 Agent 방식에 각각 100건을 배정합니다. 미달하면 쉬운 업무로 채우지 않고 관측 기간을 연장하거나 판단 범위를 줄입니다. 30일이라는 일정이 통계적 충분성을 보장하지는 않습니다.

합성 예제의 완료 92건·90건은 모두 21일까지 전달했다고 가정합니다. 실제 전달이 늦어지면 마지막 전달 후 7일까지 채택 관측과 리뷰를 연장합니다. 30일에 중간 리뷰를 한다면 아직 7일이 지나지 않은 건은 채택 미관측으로 표시하고 배정·전달 분모에서 임의로 빼지 않습니다.

배정은 업무 난도와 담당자의 기존 숙련도를 나눈 뒤 각 집단 안에서 무작위화하는 방식이 가능합니다. 협업으로 답이 공유되면 팀 단위 배정도 검토합니다. 같은 사람이 두 방식을 모두 쓰는 설계에서는 순서와 학습 효과가 섞일 수 있으므로 먼저 사용한 방식을 기록합니다. 단순 도입 전후 비교를 했다면 계절·업무 구성 변화의 영향도 한계로 남깁니다.

리허설은 운영 비교의 완료 건수에 섞지 않습니다. 다만 그때 쓴 구축·교육·계측 준비 비용은 사라지지 않으므로 첫 달 비용에 별도로 넣습니다. 시험 실패를 분모에서 지우면서 비용까지 빼면 도입의 부담을 함께 숨기게 됩니다.

PART 33. 배정·완료·전달·채택의 분모를 분리합니다

다음은 합성 예제에서 Agent 방식에 배정한 100건의 마감 상태입니다. 수용 완료 90건은 모두 전달했고, 전달 후 7일 안에 실제 사용이 확인된 결과는 72건입니다.

완료율은 90÷100=90%, 전달 결과의 채택률은 72÷90=80%입니다. 배정 한 건이 실제 사용까지 도달한 비율은 72÷100=72%입니다. 모두 맞는 숫자지만 다른 질문에 답합니다. 유리한 분모만 골라 하나의 “성공률”로 표시하지 않습니다.

표 전체가 보이지 않으면 좌우로 이동해 보세요.

기존 방식의 나머지 8건은 실패 5건과 시간 초과 3건으로 가정합니다. Agent 방식의 보류 3건도 배정 사실은 남습니다. 추가 자료를 기다리는 정당한 보류와 잘못된 실행은 성격이 다르므로 사유는 구분하되, 전체 처리 능력을 볼 때는 둘 다 완료로 올리지 않습니다.

채택은 다운로드 횟수나 긍정 이모지로 대신하지 않습니다. 최종 검토 문서에 반영됐는지, 업무 시스템의 후속 판단에 사용됐는지 확인 방법을 정합니다. 미응답은 미채택과도 다른 상태입니다. 그래야 80%라는 숫자 뒤에 거절이 있었는지 관측 누락이 있었는지 알 수 있습니다.

PART 44. 운영 단가와 첫 달 총비용은 다른 계산입니다

두 단가는 같은 완료 분모를 쓰되 포함하는 비용의 범위가 다릅니다. 운영비가 줄었다는 관찰과 첫 달 투자 판단을 분리해 읽을 수 있습니다.

합성 예제의 사람 시간 단가는 시간당 30,000원입니다. 기존 방식의 작성·검토·수정은 총 20시간, Agent 방식은 13시간입니다. 두 값에는 실패한 업무에 투입한 사람 시간도 포함합니다. 아래 항목은 서로 겹치지 않도록 나눴습니다.

표 전체가 보이지 않으면 좌우로 이동해 보세요.

Agent의 수용 완료 1건당 운영비는 510,000÷90=5,667원입니다. 기존 방식은 650,000÷92=7,065원입니다. 반올림 전 값으로 비교하면 Agent의 운영 단가는 19.8% 낮습니다.

그러나 첫 달 구축비까지 넣으면 810,000÷90=9,000원으로, 기존 방식보다 27.4% 높습니다. 같은 예제에서 두 결론이 함께 성립합니다.

운영비 차이는 140,000원이지만 이를 현금 절감이나 ROI라고 바로 부를 수는 없습니다. 급여가 그대로이고 남은 시간을 다른 업무에 쓰지 못했다면 실제 비용 지출은 줄지 않을 수 있습니다. 기회비용 평가와 현금 지출을 구분하고, 다음 달 구축비를 얼마씩 배분할지도 별도 가정으로 적습니다.

실패 호출과 검색·저장 비용도 넣고 공유 구독료의 배부 기준을 고정합니다. 무료 한도를 영구적인 비용 0으로 취급하지 마세요. 총비용÷채택 건수도 볼 수 있지만 완료 단가와 이름을 구분합니다.

PART 55. 숙련도와 기다린 시간을 따로 봅니다

같은 합성 200건을 사전 숙련도로 나눠보겠습니다. 분모 50은 사람 수가 아니라 배정 업무 수입니다.

표 전체가 보이지 않으면 좌우로 이동해 보세요.

예제에서는 경험이 적은 집단의 완료가 늘었지만 채택은 같고, 경험이 많은 집단에서는 둘 다 줄었습니다. 이 표만으로 원인을 “고숙련자의 저항”이라고 단정할 수는 없습니다. 업무 난도, 검토 기대, 사용 방식, 도구 오류를 다시 확인해야 합니다. 집단별 투입 시간·비용이 없으면 집단별 경제성도 아직 계산할 수 없습니다.

QJE의 Generative AI at Work는 고객지원 근로자 5,172명의 AI 지원 도입에서 시간당 해결 건수의 평균 15% 증가와 숙련도별 차이를 보고했습니다. 논문의 agents는 사람 상담원입니다. 이 결과를 자율 Agent나 모든 직무의 기대 개선률로 옮길 수는 없습니다. 숙련도를 분리해 측정할 이유로 읽는 것이 적절합니다. QJE 원 논문.

사람 작업시간은 작성·검토·수정에 쓴 시간이고, 전체 경과시간(wall time)은 배정부터 최종 상태까지 지난 시간입니다. 예제의 완료 건만 비교한 경과시간 p50을 45→35분, p95를 140→210분으로 가정해보세요. 일부 업무의 승인 대기가 길면 중앙값 개선과 느린 꼬리가 함께 생깁니다.

미완료 건은 종료 시각이 없다고 지우지 말고 미완료 수와 현재 대기 나이를 보고합니다. 완료 건만의 p95라면 그 조건을 제목에 적습니다. 병렬 Agent가 각각 20분 동안 실행됐다고 사람이 40분 일한 것은 아닙니다. 중첩된 사람 작업 구간을 두 번 더하지 않는 기록 규칙도 필요합니다.

PART 66. 비용보다 먼저 위반 조건을 판정합니다

합성 예제의 운영 단가가 낮아졌다는 이유만으로 확대하면 완료·채택 감소와 재작업 증가를 놓칩니다. 30일 리뷰에는 단일 종합점수보다 순서가 있는 판단표가 유용합니다. 다음 도식은 예제의 의사결정 순서입니다.

중단 예외는 실제 행동으로 적습니다. 예제의 Agent가 권한 없는 부서 문서를 조회해 초안에 넣었다면 비용이 절반이어도 해당 검색·생성 경로를 멈춥니다. 예약된 외부 발송도 보류하고 영향 문서를 찾아 권한 경계를 고친 뒤 재시험합니다. 단순히 “주의해서 사용”이라는 문구를 붙이고 계속 돌리는 것으로 닫지 않습니다.

등록 도구가 시간 초과 뒤 같은 변경요청을 반복 등록했는데 대상 시스템 상태를 대사할 수 없는 경우도 해당 쓰기를 중단합니다. 이미 등록된 건은 지우기 전에 권한 있는 담당자가 영향과 복구 방법을 판단합니다. 반면 오탈자나 느린 조회는 같은 중단 기준으로 묶지 않고 수정 우선순위를 정합니다.

이 예제의 초기 확대 기준을 완료율 92% 이상, 채택/전달 85% 이상, 중대 권한 위반 0건으로 정했다면 90%·80% 결과는 확대 조건을 충족하지 못합니다. 두 방식 간 2건 차이의 통계적 의미가 입증됐다는 뜻은 아닙니다. 합의한 운영 문턱을 넘지 못했으므로 범위를 줄여 개선·재관측하자는 판단입니다. 이 기준은 글의 예시이며 업계 표준이 아닙니다.

PART 77. 실패와 한계: 30일 기록도 편향될 수 있습니다

가장 흔한 함정은 배정 전에 어려운 일을 빼는 것입니다. 성공할 법한 업무만 Agent에 주면 실제 업무 전체의 효과를 계산할 수 없습니다. 배정 뒤 포기한 건을 제외하는 것도 같은 문제입니다. 제외 사유와 시점을 기록하고, 시험 대상 업무의 범위를 결과 옆에 붙이세요.

METR는 2026년 후속 연구에서 참여자·과제 선택과 여러 Agent를 동시에 쓰는 작업의 시간 측정 문제를 설명했습니다. 이 업데이트는 현재 생산성 효과의 크기를 강하게 확정하지 못한다고 밝힙니다. 과거 도구의 둔화 결과를 현재 모든 AI 업무에 적용하는 것도 적절하지 않습니다. METR 연구 설계 변경.

공급자의 고객 사례는 설계 아이디어를 줍니다. 대조군·원자료가 없다면 자사 절감률을 정하는 근거는 약합니다. 합성 표도 계산 연습입니다. 논문 결과·자체 목표·가정값을 같은 열에 섞지 마세요.

30일에는 사용자 학습과 초기 불편이 함께 들어갑니다. 도중에 모델·프롬프트·자료 판본을 바꿨다면 변경 시점 전후를 나눠 봅니다. 데이터가 적은 집단의 높은 비율은 건수도 함께 보여주세요. 표본에서 위반이 없었다고 미래에 위반이 없음을 보장할 수 없으며, 낮은 빈도의 큰 사고는 별도 시험이 필요합니다.

PART 88. 첫 입력으로 관측 계약 한 장을 만듭니다

업무 소유자가 완료를 정의하고 운영 담당자가 기록 가능성을 확인하는 관측 계약으로 시작합니다.

업무: 내부 변경요청 검토 초안
범위: 허용 문서 조회·초안 저장 / 제외: 승인·외부 발송
비교: 기존 방식100건, Agent 방식100건을 목표로 난도·숙련도별 배정
완료: 원천 판본·요구 누락·담당/기한 근거·권한 조건 충족
관측: 배정·최종 상태·전달·7일 내 채택·미응답
시간: 사람 작성/검토/수정 + 전체 경과시간 + 미완료 대기 나이
비용: 실패 포함 호출·검색·저장·사람·유지보수 / 구축비 별도
중단: 무권한 노출 또는 대사 불가능한 중복 쓰기
판정: 확대·수정·연장·중단 중 하나와 이유·담당·다음 확인일

30일 리뷰의 결론도 채워보겠습니다. “합성 예제에서는 운영 단가는 낮아졌지만 완료·채택 기준에 못 미쳤습니다. 확대를 보류하고 높은 숙련도 집단의 재작업 원인을 확인합니다. 검색 범위를 제한한 다음 차수에서 같은 기준으로 다시 관측합니다.” 금액 하나보다 다음 행동이 분명한 결론입니다.

자사에서 시작할 때는 숫자를 먼저 복사하지 마세요. 이번 주 업무 한 건에 배정 ID와 완료·검토·사용 시각을 붙여 실제로 기록할 수 있는지 확인하세요. 그 한 건의 누락을 고친 뒤 관측 범위를 넓히면 됩니다.

이전 글: 전문가의 지식은 어떻게 다음 프로젝트의 근거가 되는가 다음 글: Sillok × Astra/ultra: 시너지를 판정하는 업무 실험 이번 연작 전체 보기 · 앞뒤 번호는 집필 단계의 임시 순서입니다.