Sillok · 기업 컨설팅
AI는 그럴듯하게 틀립니다 — 하네스×RAG로 기업을 컨설팅한 네 현장의 기록
AI는 90%를 정확히 맞히고, 가장 공식 문서처럼 보이는 마지막 10%를 조용히 지어냅니다. 나머지가 정확해서 그 날조가 신뢰를 물려받죠. 지난 반년, 저는 네 곳의 기업 현장에서 그 10%를 붙잡는 장치 — 하네스(harness)와 검색증강생성(RAG) — 로 컨설팅했습니다. 무엇을 막았고, 도메인에 어떻게 맞췄는지 실측으로 씁니다.
바쁜 분을 위한 3줄 요약
- 하네스의 역할은 현장마다 달랐습니다. 삼성에선 거버넌스·설계 혈통, 모비스에선 생소 도메인 그라운딩, 한 제조 상장사에선 망분리 RAG, 마인드풀러닝스쿨에선 비즈니스 모델 분석과 에이전틱 개발방법론 — 같은 하네스, 다른 얼굴.
- 차이는 측정됐습니다. 하네스가 없는 날것의 AI가 존재하지 않는 코드를 발명한 산출물을, 그라운딩 규율이 독립 심사 24→91점·날조 7→0으로 되살렸습니다(“polish가 아니라 correctness rescue”).
- 이건 기업 역량입니다. 세계적 모범사례(best practice) 10가지 중 저는 7가지를 이미 쓰고, 2가지는 부분, 1가지(보안 레드팀)는 발전 방향입니다. 그리고 그 역량의 핵심은 스스로 진화하되 후퇴는 게이트로 막는 루프입니다.
한 손해보험 수리견적 도메인의 화면기획을 AI에게 맡긴 적이 있습니다. 시스템 사실은 정확했습니다 — 정식 명칭도, 구축사도, 4단계 파이프라인도. 그런데 AI는 존재하지 않는 작업유형 코드(교환=X·판금=R·도장=P·탈착=O)를 발명해 화면 배지와 스키마 여섯 곳에 심었습니다.
90%가 맞았기에, 그 가짜 코드는 의심 없이 통과할 뻔했습니다. 그걸 잡은 건 더 똑똑한 모델이 아니라 규율이었습니다. “출처 없는 코드·등급·enum은 발명하지 않는다”는 콜드 도메인 그라운딩 규칙이 생성 전에 권위 출처를 먼저 확보하게 했고, 독립 심사가 그 결과를 24점에서 91점으로, 날조 7건에서 0건으로 되살렸습니다. 이 글은 그 규율 — 실록(Sillok) 하네스 — 이 네 곳의 실제 기업 컨설팅에서 어떻게 다르게 일했는지의 기록입니다.
01 · Four Fields네 현장, 하네스의 네 얼굴
“하네스를 썼다”는 말은 매번 같은 뜻이 아니었습니다. 어떤 곳에선 거버넌스였고, 어떤 곳에선 지식(RAG)이었고, 어떤 곳에선 방법론이었습니다. 각 현장에서 (a) 실록 자체와 (b) 벡터·RAG가 각각 무엇을 했는지 정직하게 나눠 적습니다.
거버넌스 · 설계 혈통
삼성전자 GAUSS PM Agent
먼저 정직하게 — 이 에이전트를 실록이 “만든” 것은 아닙니다. GAUSS PM 에이전트 자체는 여러 모델을 이어 붙인 프롬프트 엔지니어링으로 제작됐습니다. 실록의 역할은 그 위·아래에 있었습니다.
(a) 실록 — 작업을 이슈 라이프사이클로 마감·자산화하는 통제층 거버넌스, 그리고 설계 혈통. 이 에이전트의 설계 원칙(사내문서→표준→AI추론 4단 증거 위계, 🔵사내·🟢표준·🟡AI재구성 신뢰 라벨, “검증 없는 완료 금지”, “프롬프트=제품, 버전+평가+릴리스노트”)은 하네스의 콜드 도메인 그라운딩·검증-주장 무결성 규율과 같은 혈통입니다. 오히려 이 패턴이 하네스로 역수혈됐습니다(재사용 자산).
(b) RAG — 두 개의 RAG를 구분해야 합니다. 하나는 에이전트 제품 안의 RAG(삼성 사내 지식 위에 서서, 문서가 없으면 지어내지 않고 “임시안·확인 필요·유관부서 문의”로 답하는 RAG-fallback 계약 — 벡터DB 구축 자체는 범위 밖). 다른 하나는 이 컨설팅을 관리한 지식창고(Vault, 메모리 자산화).
예 — 사내 RAG가 위기를 가이드로 — “개발이 70% 진행된 시점에 사업부가 구두로 기능 추가(약 3주)를 요청”하는 위기가 오면, 삼성 Jira·Confluence가 학습된 사내 RAG 위의 에이전트는 즉답 대신 맞춤형 가이드를 냅니다 — ① 상황 요약·이해 → ② 관련 부서(사업부·프로젝트관리조직(PMO)·품질보증) → ③ 조치(구두→서면화·변경요청서·CCB 상정 경로) → ④ 사내 유사 과거사례(RAG 회수·반면교사) → ⑤ 바로 쓸 응답 메일 문구 → ⑥ Do/Don’t 주의점. “일정이 2주 밀렸는데 원인 미상”(SW 7명·3개월차)이면 지연 진단법·Critical Path 확인 + “오늘 할 행동 Top 3”를 먼저 줍니다. 근거마다 🔵사내/🟡AI재구성 라벨로 환각과 구분해서요.
효과 — 성과 수치는 싣지 않습니다. 설계 수준의 효과: 삼성 PM 맥락 적합(역할별·반도체 케이던스), 1순위 치명 실패 = “사내 정책 날조”를 게이트로 차단하도록 설계. 표준 판본은 문서 간 불일치가 있어 단정하지 않습니다. 공개: 삼성·GAUSS·주니어 PM 지원 프레임 — 관련 글: GAUSS PM Agent 설계. 내부 지침서·데이터셋은 미노출.
콜드 도메인 그라운딩 · Vault 진단
현대모비스 SW협업 워크숍 — 개발문화 진단을 품은 설계
여기서 “개발문화 진단”은 별도 산출물이 아니라 워크숍 설계에 내장된 문제 정의였습니다. “모비스 4년치 Vault FMEA”에서 뽑은 3대 개발문화 근본원인(리스크 은폐 문화 RPN 125 · 협업 프로세스 미흡 RPN 80 · R&R 모호=Hidden Gap RPN 80)을 겨냥해 워크숍을 짰습니다.
(a) 실록 — X-by-wire(제동·조향·현가)라는 생소 도메인에 콜드 도메인 그라운딩을 적용. 안전등급(ASIL)·부품코드·제동력·응답시간은 전부 [U] 발명 금지·현업 확정으로 태깅했고, 도메인 온톨로지(ICD·SBW·RWS·클램핑력 현장 용어)로 좌표를 고정했습니다. 신규 프롬프트팩은 만들지 않았습니다 — 데이터(온톨로지)와 절차(SOP)만 더하면 충분했기 때문입니다.
(b) RAG — “모비스 4년 Vault FMEA”가 진단의 원천 데이터였습니다(위 RPN 수치). 모든 산출물은 시각용 HTML + 검색·임베딩용 md 컴패니언을 함께 내 RAG 인덱싱을 열어 뒀습니다. 현장의 한 줄이 핵심을 요약합니다: “나만의 AI = 시스템프롬프트 × RAG(내 자료) × Loop — 하나라도 0이면 결과도 0.”
효과 — AI가 SBW·RWS·안전원칙을 이미 아는 상태로 답했고, 근거 등급을 색으로(청=RAG·황=추론·녹=표준) 표시하며 스스로 모순을 교정했습니다. “AI가 약한 게 아니라 내 자료가 얇다”는 “자료=품질” 깨달음이 하루 네 번 반복됐고, 약속 산출물 9건이 실제 21건(1차)·17건(2차)으로, 깊이는 Lv2→Lv5+추적표까지 나왔습니다. 공개: 현대모비스 — 관련 글: SW협업 워크숍 현장. 참여자는 역할로 익명화.
망분리 RAG · 엔터프라이즈 지식
크린앤사이언스 컨설팅, 그리고 한 제조 상장사의 망분리 사내 RAG
두 가지를 함께 적습니다. 하나는 크린앤사이언스와의 기업 컨설팅 — 한 달 컨설팅과 협업도구 Jira/Confluence 도입(“고객 등급 = priority” 같은 현장 함정까지 정본화). 다른 하나는 망분리 사내 RAG 실증인데, 이 RAG 사례는 계약상 회사명과 수치를 연결하지 않으므로 “한 필터 제조 상장사”로 따로 적습니다(앞선 상반기 결산과 동일한 원칙).
(a) 실록 — RAG 통합 아키텍처 SOP로 6-유닛 망분리 파이프라인(정제→첨부파싱→보안태깅→한국어색인→그래프RAG→평가, 전체 재빌드 ~34초, 외부망 호출 0). 하네스 자산(증분 임베더·회수 프로브)은 import하되 데이터·런타임만 격리. 서빙은 2단(온라인 챗봇 + 망분리 하네스, “같은 인덱스, 다른 권한”).
(b) RAG — 로컬 임베딩(model2vec, 토큰 비용 0) + 하이브리드(BM25+시맨틱, RRF k=60). 그래프RAG는 결정론적 링크 그래프(외래키·첨부관계 6,055개 — 대규모 언어모델(LLM)의 엔티티 추출을 안 써서 망분리에 안전). 10년치 사내 지식이 권한 인지 원소(내용+출처+접근등급)로 분해돼 3,382 노드로 색인됐습니다.
효과(측정) — 대표 20질의 게이트에서 관련도 1.0 · 인용 정확도 0.95 · 접근권한 누출 0, 조직별 골든룰 160/160 회수. 정직하게: 이 점수는 키워드 휴리스틱 채점이고, 보안등급 1,048건이 사람 검수 대기라 “누출 0″은 실증셋 결과지 프로덕션 완성이 아닙니다. 실명 공개는 컨설팅 서사에만(수치 미부착) — 재무·인명·인프라 전량 비노출.
하이브리드 회수 · BM25 + 시맨틱 + RRF(k=60) → 출처등급 배지 → ACL 필터 → 근거 답변
🔵 S1 설비 점검 이력 문서 A 관련도 0.94
🔵 S1 담당 부서·인수인계 기록 B 관련도 0.88
🟡 추론 유사 라인 대비 추정 — 근거 표시 헤지
🔴 S3 권한 초과 문서 — ACL 차단 누출 0
망분리 사내 RAG 검색 흐름(도식) — 내용은 전부 가상 예시. 실제 사내 데이터·시스템명·고객 식별정보는 계약상 비노출.
비즈니스 모델 분석 · 에이전틱 방법론
마인드풀러닝스쿨 — 비즈니스 모델(BMC) 분석 + 에이전틱 개발방법론
저희가 운영하는 마인드풀러닝스쿨(창립 김성우 코치) 자체의 차세대 앱을 위한 컨설팅입니다. 브랜드·방법론은 공개하되, 가격·회원 데이터·투자·법인 결정은 내부로 둡니다.
(a) 실록 — 비즈니스 모델 캔버스(BMC) 9블록 분석은 전용 전략 팩(트리거
[bmc] · 포터 5-Forces·블루오션·JTBD 프레임)으로 수행. 에이전틱 개발방법론은 3-Trail 도메인 수직슬라이스(1인 개발자→3인 에이전틱 팀, AGENTS.md를 단일 협업계약서로·Worktree 격리·계획 승인 게이트·푸시 전 검증 게이트). 로드맵은 “전 분야 에이전틱”을 “에이전틱 우선 + 규제·비가역 노드는 사람 게이트”로 재정의(외부 하드게이트 6건은 1차 출처로 검증).(b) RAG — 김성우 코치 코퍼스(인스타 1,782편 + 철학 큐레이션 369편 + 저서 OCR)가 브랜드 DNA·온톨로지의 원천. 수집은 결정론적(LLM 미사용·재현 가능). DNA 정본 계층(코치 보이스→온톨로지 v2.2→회원 검증 67명·자필 일지 2,432편)으로 모든 앱 의사결정이 원천까지 역추적됩니다.
효과 — BMC 9블록 합의(가치 제안 “나를 위한 달리기”, 신규 B2B 채널 발견), Phase 2 정식화(9-도메인 요구·설계 명세, 화면 목업 26→35 역산 정합), 차세대 앱 로드맵 M0~M4. 방법론 실체는 3-Trail(개발)+비즈/기술 2트랙(조직)+5-Role(앱 권한). “5원형 팀”은 개념 렌즈(→ 역할 원형 글)일 뿐 산출물명이 아니라 단정하지 않습니다.
02 · With vs Without하네스가 있고 없고의 차이 — 무엇을 막았나
여기서 사용자가 묻지 않았지만 중요한 것을 발굴합니다. 하네스의 진짜 값은 “더 잘 쓴다”가 아니라 “틀리지 않게 붙잡는다”입니다. 저장소 실측에서 뽑은 대조입니다 — 측정된 것과 서술된 것을 구분했습니다.
| 실패 (하네스 없이) | 하네스가 하는 일 | 근거 |
|---|---|---|
| 환각 — 그럴듯한 코드 발명: 날것의 AI가 존재하지 않는 작업유형 코드를 만들어 6곳에 전파 | 콜드 도메인 그라운딩(생성 전 권위 출처 확보 + [O]/[I]/[U] 태깅 + 폐쇄어휘) | 측정: 심사 24→91 · 날조 7→0 · 날조안전 1→9 |
| 인용 환각: “그럴듯한 제목 + 틀린 논문 ID”를 지어냄 | 서지 실존 대조(arXiv→DataCite→Crossref), 모르면 기권 | 측정: 위조 ID 정확 탐지 · 실문서 오귀속 2건 적발 · 오탐 0 |
| 가짜 표준코드: 자동 생성이 존재하지 않는 표준번호를 산출물에 박음 | “claim ≠ 자동화” — 뼈대만 자동, 주장·표준ID는 사람 작성+검증 | 서술: 이미지 v5 가짜 표준코드 실측 |
| 도메인 평탄화: 현장어를 일반 PM 용어로 뭉갬(클레임 vs 보상/구상, ICD vs 인터페이스 문서) | 도메인 온톨로지 × 컨설턴트 표준 곱셈 — 현장 글로서리 강제 | 서술: 온톨로지맵 glossary 실데이터 |
| 납품물 한 방 생성: 그라운딩 없는 one-shot → 링크 없는 뼈대 + 날조 위험 | ground→contract→draft→verify 강제(시간 배분이 곧 품질) | 서술: 같은 벽시계, 검증 있는 쪽이 사용자 평가 우세 |
| 검증 없는 “통과” 단정: 안 돌려 보고 “테스트 통과”라 말함 | 검증-주장 무결성 — 통과는 관측, 결함은 도구 검증, 모르면 기권 | 서술: 42% 작업이 코드·하네스라 리스크 표면 |
| RAG 없이 추측 + 중복 리서치 | Vault 회수로 선례·자산 재사용(같은 사실을 다시 검색하지 않음) | 측정: 산출물 품질 델타 +4.4/30(~+15%p), 대부분 선례·재사용 |
정직한 경계 — RAG의 값은 “구조”가 아니라 “선례·재사용”
위 +15%p는 검색 재현율 수치가 아니라 4개 산출물의 품질 델타(별개 지표, 출처 있음)이며, 그 값의 83%가 “교차 클라이언트 선례 + 자산 재사용”에서 나왔습니다. 산출물의 구조는 이미 규칙(rule)이 잡고 있어 RAG의 추가 기여가 거의 0이었죠. 과장하지 않는 것이 하네스의 규율입니다.
출처: vault-retrofit 품질 델타 4-산출물 보고서 · AOS before/after 리포트(독립 심사)
03 · Capability왜 기업 역량인가 — TOP10 해외 모범사례와 나의 자가진단
이건 도구 자랑이 아니라 역량 격차의 문제입니다. 맥킨지 2025 조사에서 조직의 약 88%가 AI를 상시 쓰지만 “고성과”는 약 6%뿐이고, 에이전틱 시스템을 실제로 확장한 곳은 약 23%에 그칩니다. 승자는 더 좋은 프롬프트가 아니라 지속되는 운영 역량을 지은 곳입니다. 아래는 그 역량의 해외 모범사례 10가지와, 제가 실제로 그것을 쓰는지(✅)·부분인지(◐)·발전 방향인지(→)의 정직한 자가진단입니다.
| # | 모범사례 | 출처 | 나의 상태 |
|---|---|---|---|
| 1 | 단순함 우선 — 예측 가능한 일은 워크플로, 열린 일만 에이전트 | Anthropic·OpenAI (합의) | ✅ 사용중 라우터+팩 사다리 |
| 2 | 컨텍스트 엔지니어링 — 문구가 아니라 컨텍스트 구성이 핵심 | Anthropic 2025 | ✅ 사용중 팩 레지스트리+Vault |
| 3 | 지식 그라운딩(RAG→에이전틱 RAG) | RAG Survey 2312.10997 · Agentic RAG 2501.09136 | ✅기본 ◐다단계는 발전 |
| 4 | 환각 방지 설계 — 인용 우선·기권 허용·추측 대신 보정 | OpenAI 2509.04664 · Anthropic | ✅ 사용중 검증무결성+콜드그라운딩+인용검증 |
| 5 | 평가 주도 개발 — 골든셋·LLM 심판·상시 평가 | OpenAI · Anthropic | ✅ 사용중 골든셋+카나리+평가러너 |
| 6 | 관측성·추적 — 모든 에이전트 스텝 재구성 | 업계(벤더 주도) | ✅솔로 ◐대규모 추적은 발전 |
| 7 | 사람 게이트 + 가드레일 — 고위험 노드·최소권한 | OpenAI · OWASP LLM06 · NIST AI 600-1 | ✅ 사용중 사람승인(HITL)+제안전용+2게이트+보호파일 |
| 8 | 거버넌스 = 조직 역량 | BCG·Deloitte(성숙 ~21%) | ✅솔로 운영계약 조직 허브는 구조 이슈 |
| 9 | 보안 하드닝 — 프롬프트 인젝션·망분리·레드팀 | OWASP LLM01·Agentic | → 발전방향 망분리는 있음, 인젝션 방어·레드팀은 갭 |
| 10 | 자기개선 루프 + 비-후퇴 게이트 | GEPA 2507.19457 · Misevolve 2509.26354 | ✅ 사용중 GEPA+제안진화+카나리 |
요약하면 10 중 7은 이미 쓰고, 2는 부분(에이전틱 RAG 심화·대규모 관측), 1은 분명한 발전 방향(보안 레드팀)입니다. 정직하게 갭을 갭이라 적는 것 자체가 이 명단의 9번·10번이 요구하는 태도입니다.
과장하지 않기 — 흔한 수치들의 진실
“AI 파일럿 95% 실패”는 자기보고 기반이라 방향 참고용이고(감사된 재무 아님), “정적 RAG 34% vs 에이전틱 89%” 같은 수치는 1차 출처에서 확인되지 않아 인용하지 않았습니다. “RAG는 끝났다(긴 컨텍스트가 대체)”도 결론은 “둘 사이를 라우팅하라”이지 택일이 아닙니다. 자기개선도 위험합니다 — 목표 이탈(misevolution)이 자생할 수 있어, 반드시 비-후퇴 게이트와 함께여야 합니다.
04 · Evolution핵심은 진화한다는 것 — 스스로 다듬되, 후퇴는 막는다
앞선 상반기 결산에서 다뤘듯, 이 하네스의 심장은 “한번 만들고 끝”이 아니라 자기 사용 기록을 읽고 프롬프트를 스스로 다듬는 루프입니다. 관측(사초) → 골든셋 평가(과거) → 반성적 진화(경연·GEPA) → 제안(상소) → 3중 게이트(카나리·골든·전방섀도우) → 사람 승인 → 반영(직지).
이 루프가 왜 컨설팅에서 결정적일까요. 위 TOP10의 10번이 정확히 이것입니다 — GEPA(반성적 프롬프트 진화)는 강화학습을 약 10%(최대 20%) 앞서면서 롤아웃은 최대 35배 적게 씁니다(arXiv 2507.19457). 하지만 자기개선의 위험(목표 이탈)도 학계가 경고하죠. 그래서 실록의 답은 “모든 변경을 비-후퇴 게이트 뒤에”입니다 — 후보가 기존 효과를 10% 넘게 떨어뜨리면 자동 차단하고, 반영은 사람이 합니다.
정직성이 진화의 조건
실제 사례: 한 팩의 진화 후보가 골든셋에서 완벽 점수(f1 1.0)를 냈지만, 보류 검증에서 일반화가 0이고 전방 섀도우에서 실제 커버리지 손실이 잡혀 게이트가 기각했습니다. 일반화되는 정직한 값은 0.857이었죠. “시험지를 외운 1.0″을 그대로 반영했다면 컨설팅 품질이 조용히 무너졌을 겁니다. 진화보다 진화를 감시하는 게이트가 먼저입니다.
출처: GEPA 진화 매뉴얼(0.706→0.857 일반화·1.0은 과적합 기각)
Action기업이 이번 분기에 시작할 수 있는 것
거창한 플랫폼이 아니라 세 개의 습관에서 시작합니다.
1) 도메인 사전을 먼저 만드세요. 컨설팅·개발에 앞서 그 도메인의 현장 용어·코드·등급을 권위 출처에서 확보하면, AI가 “그럴듯한 마지막 10%”를 지어낼 여지가 사라집니다. 2) 지식을 검색 가능한 자산으로 바꾸세요. 흩어진 사내 문서를 권한 인지 원소(내용+출처+등급)로 색인하면, AI가 추측 대신 인용합니다. 3) 자기개선에는 게이트를 다세요. 프롬프트·에이전트를 개선하되, 효과가 후퇴하면 자동으로 막는 골든셋·카나리를 함께 두어야 “진화”가 “퇴화”가 되지 않습니다.
Bridge이어서 읽으면 좋은 글
자매편 · 코칭도구를 늘리지 않고, 하네스를 길렀습니다 — 실록 상반기 결산같은 하네스의 코칭·워크숍 관점 결산(고객사 12곳·대시보드·오픈소스)
기반 · 소개실록(Sillok) — 한국형 LLMOS 하네스란 무엇인가이 글이 말하는 하네스의 설계 철학과 3층 구조
심화 · 망분리 RAG사내 지식 RAG 망분리 6단계 — 관련도 1.0, 권한 누출 0인터넷이 끊긴 환경에서 사내 지식을 검색으로 대는 법(익명 정본)
이 글의 신뢰 원칙
네 현장의 서술은 저장소 실측 문서에서 인용했고, 측정치와 설계 의도·서술을 구분했습니다. 삼성 GAUSS는 측정된 성과가 없어 수치를 싣지 않았고(“Sillok이 만들었다”는 과장도 피했습니다), 한 제조 상장사의 RAG 정량치는 계약상 익명이라 회사명과 분리했으며(보안등급 1,048건은 검수 대기이므로 “누출 0″은 실증셋 결과로만 표기), 마인드풀러닝스쿨의 가격·회원·재무는 비공개로 두었습니다. TOP10의 미검증 수치(에이전틱 RAG 벤치마크 등)는 싣지 않았습니다. “관측하지 않은 통과는 단정하지 않는다”가 하네스의 규율이자 이 글의 규율입니다.
용어
하네스(harness) 붙잡아 떨어짐을 막는 운영 장치 · RAG 검색증강생성(Retrieval-Augmented Generation) · 콜드 도메인 그라운딩 생소 도메인을 권위 출처로 먼저 확보하는 규율 · [O]/[I]/[U] 관측/추론/미상 출처 태깅 · ACL 접근권한 목록 · GEPA 유전-파레토 반성적 프롬프트 진화 · BMC 비즈니스 모델 캔버스 · HITL 사람 사전 승인(Human-in-the-Loop).
근거
콜드 도메인 그라운딩 before/after 리포트(독립 심사 24→91) · 현대모비스 SW협업워크숍 총괄회고 + 도메인 온톨로지 · 한 제조 상장사 RAG PoC 마스터플랜/골든 결과(익명) · 마인드풀러닝스쿨 BMC·에이전틱 방법론 산출물 · GEPA 진화 매뉴얼. 외부: Anthropic Building Effective Agents·Context Engineering, OpenAI Why LMs Hallucinate(2509.04664)·Practical Guide to Building Agents, McKinsey State of AI 2025, OWASP Top 10 for LLM Apps 2025, GEPA(arXiv 2507.19457).
태그
Sillok하네스RAG컨설팅환각방지도메인그라운딩GEPA
🧭 길잡이·수렴 (전체 진입)
- M-1 Agentic PM 시리즈 진입 가이드 — 전체를 한 장으로
- Z-1 실록(Sillok) — 5세기 Audit-Grade 거버넌스를 LLM 운영에 빌려온 한국형 LLMOS 하네스
- Z-2 실록(Sillok) 2026 상반기 결산 — RAG·고객사·지능화 루프·오픈소스
- Z-3 하네스×RAG 기업 컨설팅 — 네 현장·환각 방지·TOP10 자가진단·진화 루프
- Z-4 하네스 엔지니어링 백서 — Weng 하네스론×실록 구조 매핑·자기개선 루프·정직한 결산
- Z-5 에이전트 스킬 수명주기 백서 — Dynamic Agent Skills 8단×실록 매핑(7 온전+1 갭)·분기 12문항 레퍼런스·PO/PM/PL 컨설팅 직역
🧱 개념·프레임워크 (Lv2–3)
🔄 역할·역량 전환 (Lv1–2)
🧠 사고 체계 (Lv2–3)
- K-1 Agentic 시대, PM의 온톨로지맵 — Obsidian을 통해 나만의 RAG를 만드는 법
- K-2 Karpathy의 LLM과 Obsidian 지식 결합
- K-3 Karpathy의 autoresearch: PM에서의 적용 사례
- K-5 Karpathy LLM OS 시각으로 본 AX PM/PL 역량 — Claude Code 소스 교차 분석
- K-6 30시간 RAG 실측 — Karpathy llm-wiki vs obsidian-vault 양강 비교
- K-7 구글 OKF·Obsidian Vault·llm-wiki — 무엇을 어떻게 시작할까
- K-8 Obsidian × LLM 4만 노트 — 개인 RAG 최종 아키텍처 5층
- K-9 PM 온톨로지맵 템플릿 배포판 — 30분에 채우는 5칸
👤 AI 인물·리더 (Lv1)
- P-0 7인의 사고 체계 종합 프레임워크
- P-1 Karpathy: 제약 설계 + 닫힌 루프
- P-2 Sutskever: 압축이 곧 지능이다
- P-3 Hassabis: 제1원리 분해
- P-4 LeCun: 세계 모델 + 예측
- P-5 Hinton: 거버넌스 + 자기부정
- P-6 Ng: AI 전환 플레이북
- P-7 Fei-Fei Li: 인간중심 설계
- P-8 Builders 종합: Boris·Cat·Truell·Masad·Murati·Brockman
- P-9 Operators 종합: Altman·Amodei·Nadella·Pichai·Zuckerberg·Suleyman
- P-10 Hardware 양강: Jensen Huang · Lisa Su
- P-11 DeepSeek 량원펑 — 연속 학습의 공백과 하네스
📈 AX 전략·조직 전환 (Lv4)
- X-1 AI/AX 2030 전략: McKinsey, BCG, Accenture, Deloitte, Gartner 교차 분석
- X-2 빅테크 리더십 격변과 AX 전략
- X-3 2026년 GitHub에서 주목할 프로젝트와 AI 전환 신호
- X-4 AI 에이전트 2026 상반기 대해부 — 지금 무슨 일이, 리더는 무엇을
- W-1 Agentic 월간 관전포인트 2026-05 — 가우스+빅테크 듀얼 모델 시대
- W-2 Agentic 2026 상반기 총결산 — 다섯 축 6개월
- E-1 AI 네이티브 기업 전환 — CHO·PMO 재정의
- E-2 한국 기업 AX 2030 (Capstone)
- E-3 NH농협은행 SAFe 애자일 3년 — 페이스메이킹의 기록
- E-4 하나은행 × BCG 애자일 전환 — 두 개의 리듬으로
- E-5 네이버랩스 AKI — 하이브리드 애자일 PMO로 7개 제품을 한 박자로
🏢 현장 검증·사례 (Lv1–4)
- S-1 Agentic PM의 시대가 열리다 — LG전자 SW PM 워크숍을 마치며
- S-2 삼성전자 PMC: AI와 함께하는 PM 교육 혁신
- S-3 SKT Agent 도출을 위한 AI 퍼실리테이션 기법
- S-4 리스크는 그릇이었다 — LG전자 SW공학연구소 GenAI RISK 워크숍
- S-5 코드 한 줄 없이 손익관리팀이 만든 에이전트 — 신한EZ손해보험
- S-6 “어디까지 입력해도 되나요?” — 삼성 구매 현장의 Agentic 각성
- S-7 지금 Agentic으로 전환해야 하는 이유 — 삼성·LG·KT·Clean&Science 300여 분의 증명
- S-8 ‘바이브 프로젝트 매니징’을 스스로 이름 붙였습니다 — 현대모비스 편
- S-9 “대충 시키면 다 해줄 줄 알았는데” — SK쉴더스 보안 PM들의 이틀
- S-10 휴맥스 전사 ALM 정착 — 표준 4개를 codeBeamer 하나에
- S-11 AI로 신약 프로젝트 관리 — KDRA 바이오 PM 3일 워크숍
- S-12 AI 바이오·제약 회사는 무엇부터 자동화해야 하는가 — 26주 실측
- S-13 에이전트를 어디까지 붙일 것인가 — 되돌릴 수 없는 일 먼저 NEW
- S-14 같은 기준, 다른 답 — 22개 업무 유형의 사람 확정 지점 NEW
- S-15 가장 무거운 일은 전문 업무가 아니었다 — 에이전트 10종 NEW
🔧 하네스·에이전트·RAG 구축 (Lv3)
- G-1 삼성전자 GAUSS PM Agent: 효과적 설계로 주니어 PM 지원하기
- G-2 주니어 PM 위한 AI 하네스 구축 가이드
- G-4 삼성 DX 엔지니어를 위한 Codex 온보딩 — 하네스 & 개인 RAG
- G-5 나의 Agent 비서, 블록 12개로 조립한다 — 재사용 블록과 77%의 법칙
- G-6 내 업무를 맡길 AI 에이전트 — 6블록 설계와 PROFILE BIND
- CC-6 사내 지식을 RAG로 — 망분리·토큰0 6단계
- CC-4 내 노트 4만 개 검색 — LLM 직접 읽기 vs 전용 CLI, 하이브리드 5.5배
- CC-5 Obsidian 노트를 앱 없이 검색 — 오픈소스 byeori(벼리)
🧪 AI 개발·SDLC 실험 (Lv3)
⚖️ 모델·도구·맥 환경 실측 (Lv3)
- A-5 Fable 5와 보낸 첫 하루 — 모델 × 하네스 × RAG 실측 회고
- A-8 좋은 엔진은 없다, 맞는 엔진이 있다 — Codex/Sol vs Claude/Fable 5대 실전 비교
- CC-3 Opus xhigh 솔로 vs ultracode 멀티에이전트 — 작업유형별 A/B 실측
- A-6 맥은 이미 AI 워크스테이션 — 사진·노트·인박스 0원 정리
- A-7 Mac@Work 2026 — 맥 20년차의 도구 모음과 Agentic 카테고리
- G-3 대기업 직장인을 위한 AI Agent & Skill 추천 가이드 2026
- G-7 녹취 엔진 두 레인 — SpeechAnalyzer와 Alt, 코칭·컨설팅 6장면 판단표
🏛️ 공공·SI 사업관리 (Lv2–4)