
AX 시리즈 100편 기념 특집 2편 · 하네스 고도화
- 무엇을 갖고 있는가 — 운영 화면 다섯 장과 지식 구조 일곱 층을 통째로 엽니다
- 어디에 둘 것인가 지금 이 글 — 그 일곱 층이 늘어날 때 무엇이 비싸지는지, 그리고 새것을 어느 층에 둘지 정합니다
- 무엇을 사람이 쥐는가 — 업무 원형 22개에서 뽑은 위임 경계입니다
규칙 한 줄로 시작한 하네스는 금방 늘어납니다. 그리고 대여섯 개를 넘는 순간 새로운 문제가 생깁니다 — “이 새 능력을 어디에 둘 것인가.” 저는 이 판단을 잘못해서 능력을 119개까지 늘렸고, 세어보니 그중 16개가 전체 사용의 80%를 하고 있었습니다. 늘리는 법이 아니라 어디에 둘지 고르는 법에 대한 글입니다.
- 능력은 고르게 쓰이지 않습니다. 팩 119개 중 16개(13%)가 누적 라우팅 26,957건의 80%를 차지했고, 9개는 한 번도 선택되지 않았습니다.
- 그래서 “만들까 말까”가 아니라 “어느 층에 둘까”가 진짜 질문입니다. 6단 배치 사다리에서 ①~③은 비용이 거의 0이고, ④(팩)부터 정밀도·지연·관리 비용을 냅니다.
- 계측 지표는 세 개면 됩니다 — 빈 선택률·사용 분포·마지막 사용일. 제 빈 선택률은 3개월 창 17.8%에서 최근 30일 4.7%로 내려왔습니다.
The second problem규칙 다섯 개를 넘으면 시작되는 두 번째 문제
처음 하네스를 만들 때의 문제는 단순합니다. “무엇을 규칙으로 만들 것인가.” 같은 실수를 두 번 한 자리를 찾아 한 줄 적으면 됩니다.
그런데 그렇게 대여섯 개가 쌓이면 성격이 다른 문제가 옵니다. 새로 만들 것이 생겼을 때 — 이걸 기존 규칙에 한 줄 더할지, 새 규칙으로 뺄지, 아예 다른 형태로 만들지를 매번 정해야 합니다. 그리고 이 판단을 안 하면 기본값은 언제나 “새로 하나 더 만들기”입니다. 그게 제일 쉬우니까요.
저도 그랬습니다. 3개월 동안 제안서를 200건 넘게 쓰면서, 쓸모 있어 보이는 건 일단 만들었습니다. 결과는 능력 119개였습니다. 문제는 그 다음이었습니다.
Power law실측 — 119개를 만들었더니 16개가 80%를 합니다
감이 아니라 수를 세어 봤습니다. 팩별 누적 선택 횟수를 뽑아 정렬한 결과입니다.
차지하는 개수
선택되지 않음
미사용
(폐기 후보 없음)
비율 44%
이 분포는 이상 현상이 아닙니다. 능력을 늘리면 거의 언제나 이렇게 됩니다. 자주 하는 일이 자주 있으니까요. 문제는 분포 자체가 아니라, 긴 꼬리가 공짜가 아니라는 사실을 모르고 계속 늘리는 것입니다.
The ladder배치 사다리 — 만들기 전에 “어느 층인가”를 먼저 묻습니다
그래서 저는 새 능력을 만들 때 여섯 개의 층을 위에서부터 검토하고, 충분한 층에서 멈추는 규칙을 씁니다. 핵심은 위층일수록 싸다는 것입니다.
결과물의 판단 기준 자체가 달라지는 것이면 → 팩(④).
둘 다 해당하면 쪼갭니다 — 절차는 규칙으로, 판단은 팩으로. 이 한 줄이 제 경우 가장 많은 오배치를 막았습니다.
일곱 층은 “늘어날 때 갉는 것”이 각각 다릅니다
앞 글에서 제 지식 구조를 일곱 층으로 열어 보였는데, 그때는 무엇이 얼마나 쌓였는가만 보여드렸습니다. 정리를 하려면 하나가 더 필요합니다 — 층마다 증식의 대가가 다르다는 것입니다. 팩만 조심하면 되는 게 아닙니다.
| 층 (현재 규모) | 늘어날 때 갉는 것 | 어떻게 막는가 |
|---|---|---|
| ① 도메인 온톨로지 20개 | 판별 부하는 없지만 낡음이 쌓입니다. 갱신 안 된 좌표를 계속 참조하게 됩니다 | 늘리는 걸 막지 말고 마감 절차에 재봉인을 묶습니다 |
| ② 프롬프트 팩 119개 | 판별 정밀도와 지연 — 이 글에서 실측한 유일한 층입니다 | 사다리로 ①②③에 흡수 + 수명주기로 회수 |
| ③ 운영 규칙 29개 | 로드 비용은 0이지만 게이트끼리 충돌합니다. 같은 취지의 확인이 두 군데 생기면 정본이 흐려집니다 | 신설 전에 기존 게이트와 의미 중복을 확인하고 겹치면 병합 |
| ④ SOP 16건 | 사람이 읽어야 작동합니다. 늘어날수록 안 읽힐 확률이 올라갑니다 | 절차가 자동화 가능해지면 규칙으로 내려보냅니다 |
| ⑤ 사례 코퍼스 1,205건 | 회수 정밀도가 희석됩니다. 비슷한 사례가 많아지면 가장 가까운 것이 안 나옵니다 | 좌표(업종·일 유형·근거 등급)를 붙여 넓히지 말고 나눕니다 |
| ⑥ 회수 계획 6종 | 경로가 많아지면 엉뚱한 데서 먼저 찾습니다 | 기본 경로 하나를 정하고 나머지는 예외로 둡니다 |
| ⑦ 아웃컴 보상 루프 | 바꾼 근거가 된 데이터를 그 변경의 효과 증거로 다시 쓰면 측정이 오염됩니다 | 채택 전후 창을 분리해서 재측정합니다 |
가장 흔한 오배치 세 가지
| 이렇게 만들기 쉽습니다 | 실제로는 | 왜 |
|---|---|---|
| 업종마다 전용 능력을 하나씩 만든다 | ③ 데이터 한 행으로 흡수 | 업종 차이의 대부분은 용어와 좌표지 판단 기준이 아닙니다. 데이터로 두면 후보 풀이 안 커집니다 |
| “이럴 땐 이렇게 하자”를 새 능력으로 만든다 | ② 경로 규칙이면 충분 | 특정 폴더를 열 때만 붙으면 되는 규율은 평소엔 존재하지 않는 것과 같습니다 — 비용이 0 |
| 기존 것과 겹치는데 이름이 달라서 새로 만든다 | ① 기존 것에 한 줄 | 겹치는 능력 둘은 서로를 갉습니다. 판별기가 매번 둘 사이에서 헷갈립니다 |
Lifecycle수명주기 — 두 번의 기회를 주고 내립니다
배치를 잘해도 시간이 지나면 안 쓰이는 것이 생깁니다. 버리는 규칙이 없으면 사다리는 반쪽입니다.
지금 제 상태는 22일 이상 미사용 23개, 90일 이상은 0개입니다. 90일이 0이라는 건 수명주기가 실제로 돌고 있다는 뜻이고, 23개가 있다는 건 다음 분기 정리 대상이 그만큼이라는 뜻입니다.
| 어디서 온 능력인가 | 개수 | 수명주기에서의 취급 |
|---|---|---|
| 작업 중에 필요해서 만든 것 | 91 | 일반 대상 — 사용 기록으로 판정합니다 |
| 절차(스킬)가 참조하는 것 | 18 | 절차가 살아 있으면 함께 보존 |
| 규칙이 근거로 삼는 것 | 7 | 사용 기록 0이어도 면제 |
| 기본 제공 | 3 | 제거 대상 아님 |
Telemetry계측 — 지표는 세 개면 충분합니다
여기까지가 설계라면, 이제 그 설계가 맞았는지 아는 방법입니다. 저는 처음에 지표를 많이 봤는데, 실제로 행동을 바꾼 건 셋뿐이었습니다.
| 지표 | 무엇을 알려주는가 | 움직였을 때 할 일 |
|---|---|---|
| 빈 선택률 아무 능력도 안 뽑힌 비율 | 커버리지 공백. 높으면 새 유형의 일이 들어오고 있다는 신호 | 빈 선택 요청을 모아 유형을 묶습니다. 같은 유형이 다섯 건 넘으면 그때가 새 능력이 정답인 순간 |
| 사용 분포 상위 몇 개가 80%인가 | 꼬리의 길이. 급격히 길어지면 오배치가 쌓이는 중 | 꼬리 쪽을 사다리로 재검토 — 대부분 ②나 ③으로 내려갑니다 |
| 마지막 사용일 능력별 경과 일수 | 수명주기 진입 시점 | 22일·90일 두 문턱에서 자동으로 표시되게 만듭니다 |
제 실측 궤적 — 그리고 이것을 성과라 부르지 않는 이유
빈 선택률은 제 환경에서 이렇게 움직였습니다.
(2026년 6월 시점)
(5/6~8/5 · 11,562건)
(5,875건)
참고로 판별에 걸리는 시간은 중앙값 234밀리초, 상위 5%가 961밀리초입니다. 이 값이 커지기 시작하면 후보가 너무 많아졌다는 뜻이라, 꼬리를 정리할 때가 된 것입니다.
Do it today오늘 할 수 있는 세 가지
도구가 무엇이든 순서는 같습니다. 규칙 파일이든 프롬프트 모음이든 문서 템플릿이든 상관없습니다.
Honesty정직한 한계
Read next이어서 볼 것
- 제가 쓰는 하네스와 검색증강생성(RAG), 활용사례를 공개합니다특집 1편 — 이 119개가 실제로 어떤 화면 위에서 도는지, 운영 대시보드와 지식 구조 7층
- 무엇을 위임하고 무엇을 사람이 쥐는가특집 3편 — 층을 정리한 다음의 질문, 업무 원형 22개에서 뽑은 위임 경계
- 좋은 스킬을 모으는 게 아니라, 스킬 라이브러리를 길러야 한다수명주기를 절차로 만드는 쪽의 이야기
- 좋은 모델이 아니라 좋은 하네스가 성과를 만든다층을 나누기 전에 잡아야 할 전체 구조
Closing능력을 늘리는 일과 하네스를 기르는 일은 다릅니다
119개를 세어 보기 전까지 저는 제가 하네스를 기르고 있다고 생각했습니다. 실제로는 능력을 늘리고 있었을 뿐이었습니다. 둘은 초반에는 같아 보이지만, 어느 지점부터 갈라집니다 — 늘리기만 하면 판별이 흐려지고, 안 쓰는 것이 쌓이고, 어디에 뭐가 있는지 본인도 모르게 됩니다.
기르는 쪽으로 돌리는 방법은 의외로 단순했습니다. 만들기 전에 “어느 층인가”를 한 번 묻고, 만든 뒤에 “쓰이는가”를 한 번 세는 것. 그 두 번의 질문이 늘리기와 기르기를 가릅니다.
오늘 목록 한 장만 만들어 보십시오. 옆 칸에 지난달 사용 횟수를 적는 순간, 다음에 무엇을 해야 할지가 그 표 안에 이미 적혀 있을 겁니다.
- X-1 AI/AX 2030 전략: McKinsey, BCG, Accenture, Deloitte, Gartner 교차 분석
- X-2 빅테크 리더십 격변과 AX 전략
- X-3 2026년 GitHub에서 주목할 프로젝트와 AI 전환 신호
- X-4 AI 에이전트 2026 상반기 대해부 — 지금 무슨 일이, 리더는 무엇을
- E-1 AI 네이티브 기업 전환 — CHO·PMO 재정의
- E-2 한국 기업 AX 2030 (Capstone)
- E-3 NH농협은행 SAFe 애자일 3년 — 페이스메이킹의 기록
- E-4 하나은행 × BCG 애자일 전환 — 두 개의 리듬으로
- E-5 네이버랩스 AKI — 하이브리드 애자일 PMO로 7개 제품을 한 박자로
- K-1 Agentic 시대, PM의 온톨로지맵 — Obsidian을 통해 나만의 RAG를 만드는 법
- K-2 Karpathy의 LLM과 Obsidian 지식 결합
- K-3 Karpathy의 autoresearch: PM에서의 적용 사례
- K-5 Karpathy LLM OS 시각으로 본 AX PM/PL 역량 — Claude Code 소스 교차 분석
- K-6 30시간 RAG 실측 — Karpathy llm-wiki vs obsidian-vault 양강 비교
- K-7 구글 OKF·Obsidian Vault·llm-wiki — 무엇을 어떻게 시작할까
- K-8 Obsidian × LLM 4만 노트 — 개인 RAG 최종 아키텍처 5층
- K-9 PM 온톨로지맵 템플릿 배포판 — 30분에 채우는 5칸
- G-1 삼성전자 GAUSS PM Agent: 효과적 설계로 주니어 PM 지원하기
- G-2 주니어 PM 위한 AI 하네스 구축 가이드
- G-4 삼성 DX 엔지니어를 위한 Codex 온보딩 — 하네스 & 개인 RAG
- G-5 나의 Agent 비서, 블록 12개로 조립한다 — 재사용 블록과 77%의 법칙
- G-6 내 업무를 맡길 AI 에이전트 — 6블록 설계와 PROFILE BIND
- CC-4 내 노트 4만 개 검색 — LLM 직접 읽기 vs 전용 CLI, 하이브리드 5.5배
- CC-5 Obsidian 노트를 앱 없이 검색 — 오픈소스 byeori(벼리)
- CC-6 사내 지식을 RAG로 — 망분리·토큰0 6단계
- A-5 Fable 5와 보낸 첫 하루 — 모델 × 하네스 × RAG 실측 회고
- A-6 맥은 이미 AI 워크스테이션 — 사진·노트·인박스 0원 정리
- A-7 Mac@Work 2026 — 맥 20년차의 도구 모음과 Agentic 카테고리
- A-8 좋은 엔진은 없다, 맞는 엔진이 있다 — Codex/Sol vs Claude/Fable 5대 실전 비교
- CC-3 Opus xhigh 솔로 vs ultracode 멀티에이전트 — 작업유형별 A/B 실측
- G-3 대기업 직장인을 위한 AI Agent & Skill 추천 가이드 2026
- G-7 녹취 엔진 두 레인 — SpeechAnalyzer와 Alt, 코칭·컨설팅 6장면 판단표
- P-0 7인의 사고 체계 종합 프레임워크
- P-1 PM 코치가 바라보는 AI 전문가 탐구 1편: Andrej Karpathy
- P-2 Sutskever: 압축이 곧 지능이다
- P-3 Hassabis: 제1원리 분해
- P-4 LeCun: 세계 모델 + 예측
- P-5 Hinton: 거버넌스 + 자기부정
- P-6 Ng: AI 전환 플레이북
- P-7 Fei-Fei Li: 인간중심 설계
- P-8 Builders 종합: Boris·Cat·Truell·Masad·Murati·Brockman
- P-9 Operators 종합: Altman·Amodei·Nadella·Pichai·Zuckerberg·Suleyman
- P-10 Hardware 양강: Jensen Huang · Lisa Su
- P-11 DeepSeek 량원펑 — 연속 학습의 공백과 하네스
- S-1 Agentic PM의 시대가 열리다 — LG전자 SW PM 워크숍을 마치며
- S-2 삼성전자 PMC: AI와 함께하는 PM 교육 혁신
- S-3 SKT Agent 도출을 위한 AI 퍼실리테이션 기법
- S-4 리스크는 그릇이었다 — LG전자 SW공학연구소 GenAI RISK 워크숍
- S-5 코드 한 줄 없이 손익관리팀이 만든 에이전트 — 신한EZ손해보험
- S-6 “어디까지 입력해도 되나요?” — 삼성 구매 현장의 Agentic 각성
- S-8 ‘바이브 프로젝트 매니징’을 스스로 이름 붙였습니다 — 현대모비스 편
- S-9 “대충 시키면 다 해줄 줄 알았는데” — SK쉴더스 보안 PM들의 이틀
- PS-2 공공 PM이 ‘AI 이용자’에서 ‘AI 활용자’로 — 아이티센 편
- M-1 Agentic PM 시리즈 진입 가이드 — 전체를 한 장으로
- Z-1 실록(Sillok) — 5세기 Audit-Grade 거버넌스를 LLM 운영에 빌려온 한국형 LLMOS 하네스
- Z-2 실록(Sillok) 2026 상반기 결산 — RAG·고객사·지능화 루프·오픈소스
- Z-3 하네스×RAG 기업 컨설팅 — 네 현장·환각 방지·TOP10 자가진단·진화 루프
- Z-4 하네스 엔지니어링 백서 — Weng 하네스론×실록 구조 매핑·자기개선 루프·정직한 결산
- Z-5 에이전트 스킬 수명주기 백서 — Dynamic Agent Skills 8단×실록 매핑(7 온전+1 갭)·분기 12문항 레퍼런스·PO/PM/PL 컨설팅 직역
- Z-6 AX 시리즈 100편 기념 특집 — 실록·3층 RAG 운영 실측: 대시보드 5장 해설·구조 도식 2장·지식 구조 7층·강의/프로젝트/발행 3사례·응용분야·정지 사고 공개
- W-1 Agentic 월간 관전포인트 2026-05 — 가우스+빅테크 듀얼 모델 시대
- W-2 Agentic 2026 상반기 총결산 — 다섯 축 6개월
- Z-7 100편 기념 특집 2편 — 배치 사다리 6단·수명주기 22일/90일·계측 3지표 (팩 119 중 16개가 라우팅 80% 실측)
- Z-8 100편 기념 특집 3편 — 위임 경계=비가역성·88스텝 중 45개(51%) 사람 확정·비가역 6갈래·4칸 표 템플릿