도구를 늘리지 않고, 하네스를 길렀습니다 — 실록(Sillok) 2026 상반기 운영 결산

Sillok · 2026 상반기 결산

지난 반년, 저는 새 도구를 모으지 않았습니다. 대신 하네스(harness) 하나를 길렀습니다. 검색증강생성(RAG) 검색이 5배 빨라졌고, 열두 곳의 고객사 현장에서 실측·관측 효과가 나왔고, 프롬프트가 스스로를 다듬는 루프가 돌기 시작했습니다. 무엇이 달라졌는지, 수치와 출처로 결산합니다.

2026년 5월 14일, 한 세미나에서 66명에게 “오늘 가장 크게 얻은 것”을 물었습니다. 가장 많이 나온 답(11명, 공동 1위)은 슬라이드 내용도, 특정 도구 이름도 아니었습니다.

“강사님의 15년 경력과 경험을 통해서 만든 RAG와 하네스를 저도 만들 수 있으면 좋겠다.”— LGE WebEx 세미나 참가자 피드백 중 (2026-05-14, n=66)

그들이 본 것은 화면 위의 결과물이 아니라, 결과물 뒤에서 돌아가는 장치였습니다. 그 장치의 이름이 실록(Sillok)입니다. 조선의 기록 체계(사초·직지·상소·과거)에서 이름을 빌린, 한국형 대규모언어모델 운영 하네스(LLM-OS harness)입니다. 이 글은 그 하네스가 2026년 상반기에 실제로 무엇을 바꿨는지를 일곱 조각으로 결산합니다. 자랑이 아니라 기록이라, 아직 목표에 머문 지표와 이미 측정된 지표를 구분해 적었습니다.

01 · What실록(Sillok)이란 — 도구 상자가 아니라 3층 하네스

“AI 도구를 몇 개나 쓰세요?”라는 질문은 번지수가 틀렸습니다. 도구를 아무리 모아도, 언제 무엇을 꺼내 어떤 지식으로 채우고 어떻게 검증하는지가 없으면 매번 처음부터 다시 시작합니다. 실록은 그 “언제·무엇·어떻게”를 세 개의 층으로 상설화한 하네스입니다.

이 3층을 관통하는 운영 원칙이 세 가지입니다. 첫째, 거버넌스 파일은 제안으로만 바뀝니다(proposal-only) — 운영 규칙서를 즉흥적으로 덮어쓰지 않고, 제안 문서를 남긴 뒤 반영합니다. 둘째, 모든 변경은 관측 근거를 요구합니다(telemetry-first) — “좋아 보여서”가 아니라 라우팅 로그가 근거입니다. 셋째, 팩 등록은 즉시·기계적 안전으로 — 1인 운영자의 속도를 죽이지 않되 유효성·감사로그·git은 자동으로 지킵니다.

02 · RAGSillok × RAG(Vault) — 정성·정량 효과

하네스의 지식층은 상반기에 가장 크게 움직였습니다. 핵심은 검색 속도와 교차언어 개념 검색 두 가지입니다. 아래 수치는 전부 같은 지식창고에서, 같은 질의 세트로, 웜 상태 3회 중앙값으로 측정한 실측입니다.

가장 의미 있는 변화는 속도가 아니라 검색이 못 하던 것을 하게 된 것입니다. 키워드 검색은 영어 질의로 한글 노트를 구조적으로 못 찾습니다. 시맨틱 검색은 “model evaluation metrics”라는 영어 질문으로 “모델 평가”라는 한글 노트를 찾아냅니다. 실무에서 이건 “내가 쓴 표현을 정확히 기억해야만 검색되는” 벽이 사라졌다는 뜻입니다.

03 · Field고객사에서 효과를 본 사례 — 상반기 실측

하네스는 데모가 아니라 현장에서 검증됐습니다. 아래는 2026년 상반기(3~7월) 대기업·공공 고객사 열두 곳에서 실제로 측정되거나 관측된 효과를, 시간 순으로 정리한 것입니다. 발행된 상세 기록이 있는 사례는 “상세 ▶”로 연결했고, 측정이 아니라 현장 관측인 항목은 [현장 관측]으로 구분했습니다.

04 · Loop지능화 — 강화학습을 닮은 자기개선 루프

하네스의 핵심은 “한번 만들고 끝”이 아니라는 점입니다. 실록은 자기 사용 기록을 읽고 프롬프트를 스스로 다듬는 루프를 돕니다. 강화학습과 구조가 닮았습니다 — 보상은 “효과”(라우팅 정확도·검증 통과율), 정책 갱신은 “반성”(실패 유형을 자연어로 분석한 개선안)입니다.

GEPA = 유전-파레토 반성적 프롬프트 진화(Genetic-Pareto reflective prompt evolution · arXiv 2507.19457). 무작위 변형 대신 “무엇이 왜 틀렸나”의 오류 유형 피드백으로 후보를 만듭니다.

이 루프의 핵심 안전장치는 회귀 게이트(카나리)입니다. 후보가 기존 대비 효과를 10% 넘게 떨어뜨리면 자동으로 차단(BLOCK)합니다. 단, 이건 차단 “권고”이지 스스로 반영하지 않습니다 — 보호 파일을 자동으로 고치지 않고, 반영 결정은 사람이 합니다.

05 · Console대시보드 — 하네스를 운영처럼 관측하다

하네스가 “돌아간다”는 말은 관측 가능하다는 뜻이어야 합니다. 실록은 하루 두 번(오전·저녁) 자동으로 갱신되는 운영·관측(O&M) 대시보드 7종을 유지합니다. 아래는 그 실제 화면입니다.

대시보드가 자랑용이 아니라 운영용인 증거는 “주의(Attention)” 칸입니다. 지금 이 순간에도 “거버넌스 드리프트 — 팩 커밋 해시 핀 1건”을 스스로 잡아내 조치 명령까지 띄웁니다. 관측이 멈추면 모든 패널이 거짓이 되므로, 데이터 신선도(freshness)까지 함께 표시합니다.

06 · Voices참여자 평가 — 하네스를 직접 만들어 보고 싶다

먼저 정직하게 밝힙니다. 참여자들이 “실록”이라는 이름을 평가한 적은 없습니다. 그들이 평가한 것은 그 하네스가 만들어 낸 것 — “RAG”, “하네스”, “토대”, “에이전트”입니다. 그래서 이 절은 “실록에 대한 평가”가 아니라 “실록이 굴리는 하네스·방법에 대한 평가”로 읽어 주십시오. 모든 인용은 실제 후기에서, 개인은 역할로 익명화했습니다.

가장 또렷한 신호는 집계였습니다. 앞서 인용한 LGE 세미나에서 66명 중 11명(공동 1위)이 “나만의 RAG·하네스를 직접 구축하고 싶다”를 최대 수확으로 꼽았습니다. 도구를 알려 줬더니, 도구가 아니라 도구를 떠받치는 장치를 갖고 싶다고 답한 것입니다.

“할루시(환각)를 최소화하면서도 풍성한 결과물을 얻고 싶었는데, 그 토대(harness)를 마련해 주셔서 감사합니다. 에이전트 생성에 전혀 감이 안 잡혔는데, 이번에 배운 토대 구성법으로 잘 만들어 보겠습니다.”— 한 손해보험 워크숍 참가자 (2026-06-05, 익명)

“1일차 회고 내용을 바탕으로 하네스 시연 등을 2일차 강의에 바로 반영해 주신 점도 좋았습니다.” · “하네스 엔지니어링에 대해서도 좀 더 알아봐야겠어요.”— 삼성 PMC GenAI PM 과정 무기명 후기 #7·#9 (2026-05-12~13)

참가자 개인의 말과는 별개로, 조직의 반응도 하나의 평가입니다. 현대모비스는 2차수 워크숍 만에 이 방식을 사내 방법론으로 확정하고 7차수까지 운영 일정을 잡았습니다. 개인 후기가 아니라 조직 채택 신호라, 그렇게 구분해 적습니다.

07 · Open오픈소스 — 하네스를 직접 길러 보세요

“저도 만들고 싶다”는 요청에 대한 답으로, 하네스의 두 축을 오픈소스로 공개했습니다. 둘 다 Apache 2.0입니다.

이 결산 자체가 하나의 사용기이기도 합니다. 위 하네스가 이 글의 리서치·검증·대시보드 캡처·발행을 굴렸습니다. 소개 글은 아래에 있습니다.

Action이번 주 시작할 수 있는 것

하네스는 거창한 인프라가 아니라 습관의 상설화에서 시작합니다. 내일 아침 세 가지를 해 볼 수 있습니다.

1) 자주 쓰는 판단 하나를 파일로 내려 두세요. “이런 요청엔 이런 기준으로 답한다”를 머리에 두지 말고 한 문서에 적습니다 — 그게 첫 프롬프트 팩입니다. 2) 지식을 한 폴더로 모으세요. 흩어진 메모를 마크다운 한 곳으로 옮기고 벼리(byeori)로 검색을 걸어 보면, “내가 뭘 아는지”가 검색됩니다. 3) 수치엔 출처를 붙이세요. 이 글이 그렇듯, “좋아졌다”를 “무엇 대비 얼마, 어디서 측정”으로 바꾸는 순간 자랑이 기록이 됩니다.

Bridge이어서 읽으면 좋은 글