SITE SEARCH

검색

사이트 전체 글을 빠르게 찾을 수 있습니다.

RSS FEED

RSS 구독

RSS 리더에서 Project Research의 새 글을 바로 받아볼 수 있습니다.

EMAIL SUBSCRIBE

이메일 구독

새 글을 이메일로 받아봅니다. RSS는 별도 RSS 아이콘을 눌러 동일한 크기의 패널에서 열 수 있습니다.

이메일로 블로그 구독하기

이 블로그를 구독하고 이메일로 새글의 알림을 받으려면 이메일 주소를 입력하세요







웹 채팅만 쓰던 제가, 두 달 반 만에 AI 홀로서기를 시작합니다

시리즈

33.3%라는 숫자를 보고, 에이전트가 생각보다 많이 놓쳤다고 생각했습니다. AI 없이 제가 직접 만든 그래프 9줄 가운데, 에이전트 그래프와 짝이 맞은 줄은 딱 3줄이었습니다. 그래프 한 줄은 “사용한 윤활유(ULO)의 원문 용어는 폐윤활유다”처럼 사실 하나와 그 근거 문장을 묶은 것입니다. 그런데 정확히 3분의 1이라는 숫자는 누가 짜 놓은 것처럼 너무 딱 떨어졌습니다. 발표에서 “진짜 놓친 거예요?”라고 물으면 답할 근거도 없었습니다. 그래서 결과를 본 뒤 16줄을 더해 25줄로 늘린 그래프에서도, 짝이 없던 요건 14줄을 하나씩 열어 보기로 했습니다. 열기 전에 예측부터 적어 커밋(저장소에 기록을 남기는 것)했습니다.

놓친 사실: 14줄의 절반 이상(7줄 이상). 이유: … 에이전트가 정말 놓친 줄이 대부분일 것이다.
— 2026-10-30, 분류하기 전에 커밋한 제 예측 (기록)

열어 보니 확실히 놓친 줄은 0줄이었습니다. 표기만 다른 줄이 4줄, 근거 문장만 다른 줄이 4줄, 판단하기 어려운 줄이 6줄이었습니다. 제 예측은 틀렸습니다.

3줄 요약

  1. 그래프를 거친 답은 점수는 같았는데, 근거가 주장을 받쳐 주는 비율은 더 낮았습니다.
  2. 웹 채팅에만 머물던 제가, 이제는 AI의 결과를 따르기보다 예측을 먼저 적고 비교합니다.
  3. 결과를 정한 건 모델보다 제가 정한 규칙이었습니다.

시작 전의 나

AI 활용 역량이 중요하다는 건 알았지만, 그게 정확히 무엇을 말하는지는 몰랐습니다. 8월의 저는 Grok, Gemini, ChatGPT, Claude, Perplexity를 두루 썼지만 모두 웹 채팅이었습니다. Grok 유료 계정에 에이전트 기능이 있어 개념은 알았지만, 제 목표에 맞게 설정하는 방법은 몰랐습니다. 검색증강생성(RAG)이 무엇의 약자인지는 알았지만 직접 만드는 법도, 프로젝트 폴더가 무엇인지도 몰랐습니다. AI는 채팅창에 프롬프트를 넣어 쓰는 것인 줄 알았고, 학교에서 AI 리터러시 기초 과정을 들은 게 전부였습니다. 그래서 첫 만남에서 던진 질문도 이것이었습니다.

RAG의 1·2·3층은 각각 무슨 역할이고, 하네스(AI가 판단하는 순서와 규칙)와는 어떻게 이어지나?
— 2026-08-23, 첫 만남에서 제가 한 질문

해 본 일

과제 네 개의 흐름: 첫 과제(품질 내규 개정 초안 55조항) → Field Scan(하위 영역 10개를 핵심 맥락 5개로) → 근거 인용 심화(판정이 뒤집힌 조건 찾기) → 3주 챌린지(근거 지지율 79.6% → 73.0%)

첫 과제는 일주일(8/23~8/29) 동안 실제 기업의 품질 내규를 AI 시대에 맞게 고쳐 쓰는 일이었습니다. 웹 채팅으로 내규 15건을 골라 개정 초안 55개 조항을 썼고, 추론 13개와 미확인 18개는 따로 표시했습니다. 결론은 “AI로 자동화하기 전에 정본·승인·추적 같은 통제부터 세워야 한다”였습니다.

9/13 발표에서 멘토님이 “결과 말고 어떻게 만들었는지 보여 달라”고 하셨을 때, 저는 말로만 설명할 수 있었습니다. 웹 채팅으로 한 일은 대화가 지워지면, 무엇을 했는지 되짚을 근거도 같이 사라집니다. 데스크톱에서 에이전트로 일하면 작업 기록 파일(worklog.md)에 과정이 남습니다.

두 번째는 Field Scan(한 분야를 넓게 훑는 과제)이었습니다. 출발 질문은 “규정·품질 문서에 근거를 달아 답하는 AI를 만들려면 무엇을 알아야 할까”였습니다. 에이전트 도구로 하위 영역 10개를 훑고, 영역을 가로지르는 핵심 맥락 5개로 묶었습니다. 결론은 검색 성능보다 “어느 문서의 어느 판에서 왔는지”를 끝까지 잇는 설계가 관건이라는 것이었습니다(결과). 이때부터 저는 제가 잊더라도 AI는 잊지 않도록, 하는 모든 일에 다시 따라갈 수 있는 흔적을 남겼습니다. 에이전트가 지킬 규칙은 규칙 파일(AGENTS.md)에 적었습니다. 출처 링크가 깨진 것을 보고는, 출처를 넣을 때 바로 열어 확인해야 한다는 교훈도 과정 기록에 남겼습니다.

세 번째는 Field Scan의 영역 가운데 근거 인용을 깊게 파는 심화 과제였습니다. 산업안전보건법과 개인정보 보호법 조문을 재료로, AI 답이 인용한 조항이 정말 답을 받쳐 주는지 AI 판정기로 검사했습니다. 같은 주장이라도 건넨 조문 조각에 따라 판정이 갈렸습니다. 명칭과 의무를 잇는 문장(조 제목이나 정의 조항)이 들어가야 “뒷받침 안 됨”이 “뒷받침됨”으로 뒤집혔습니다. 명칭이 글자로만 나오는 조항을 더했을 때는 세 번 판정해도 그대로였습니다(기록). 실험 네 번에 걸쳐 판정을 69번 돌렸습니다. 이때부터 저는 결과가 바뀌면, 원인이 된 요소를 찾을 때까지 조건을 하나씩 바꿔 보게 됐습니다.

마지막은 3주 챌린지였습니다. 자료가 많은 도메인(AI 컨설팅)과 적은 도메인(무역과 기름)에 그래프 기반 검색증강생성(GraphRAG)을 하나씩 만들어 비교했습니다. 그래프를 만들기 전에 질문 10개와 기대 답을 먼저 정해 저장소 밖에 격리하고, 예측도 먼저 커밋했습니다. 한 AI만으로는 한계가 있었습니다. 오류가 나도 객관적으로 짚어 줄 쪽이 없었기 때문입니다. 이때부터 저는 다른 AI를 들여 만드는 AI와 확인하는 AI가 함께 일하게 했고, 무엇을 고를지는 제가 정했습니다.

RAG 한 벌 여섯 단계: 자료 목록(17건씩, 두 도메인) → 정답 세트(질문 10 + 함정 질문 5) → 그래프 → 근거 판정(414개) → 가린 채점 → 뷰어

AI 컨설팅 도메인에서 두 방식의 점수(기대 답 항목을 맞힌 비율)는 87.1%로 같았습니다. 그런데 그래프를 거친 답은 근거가 주장을 받쳐 주는 비율이 79.6%에서 73.0%로 낮았습니다(기록). 자료가 적은 무역 도메인에서는 73.6%에서 64.0%로 더 낮았고, 기대 답에 없는 항목도 21개에서 48개로 늘었습니다. 33.3%처럼 숫자 하나만 믿고 결론을 냈다면, 발표에서 틀린 말을 할 뻔했습니다.

근거 지지율 막대: AI 컨설팅 검색만 79.6%, 그래프 거침 73.0% / 무역과 기름 검색만 73.6%, 그래프 거침 64.0%
3주 챌린지를 숫자로숫자
원천 자료 목록17건씩, 두 도메인
정답 세트질문 10개 + 함정 질문 5개
근거 판정414개
저장소 커밋122개

결과물은 저장소와 그래프 뷰어에 모두 공개했습니다. 아래 그림이 이 뷰어로 띄운 무역 도메인 그래프입니다.

그래프 뷰어로 띄운 무역 도메인 그래프. 폐유 품목 세 개(PPO, ULO, UMO)에서 품목 분류, 원문 용어, 요건으로 이어진다

원리 하나

제가 두 달 반 동안 얻은 원리는 하나입니다. AI의 결과를 정하는 건 모델보다 규칙입니다. 첫 과제의 결론이던 ‘자동화보다 통제가 먼저’를, 이번에는 제 손으로 재 보며 다시 확인한 셈입니다. 규칙은 일부러 정한 것이었습니다. 그래프 한 줄에 근거를 하나만 넣게 한 건, 모든 줄을 원문 한 문장으로 되짚어 확인하기 위해서였습니다. 같은 사실인지 가리는 기준을 결과 보기 전에 정한 것도, 숫자를 제 마음대로 읽지 않기 위해서였습니다.

그런데 그 규칙이 결과를 바꿨습니다. 두 문서를 엮어야 나오는 무역 법령 요건은 에이전트 그래프에도, 제가 직접 만든 그래프에도 들어갈 자리가 없었습니다. 같은 사실을 “ULO”와 “폐윤활유”로 다르게 쓰면 짝이 없는 줄이 됐습니다. 에이전트가 진짜로 놓친 건 그래프를 만드는 규칙 때문이었고, 실제보다 많이 놓친 것처럼 보인 건 제가 정한 채점 규칙(짝을 맞추는 기준) 때문이었습니다.

그래프가 얼마나 넓게 사실을 담는지는 추출하는 모델보다 그래프를 만드는 규칙이 정했다.
— 3주 챌린지 발견 정리에 제가 적은 문장 (기록)

그래서 지금은 숫자를 보면 점수보다 그 숫자를 만든 규칙부터 의심합니다.

안 된 것과 한계

잘 안 된 것도 있습니다. 3주 챌린지의 완료 기준 12칸 가운데 2칸은 점검 시각을 넘겨 다음 날 했습니다(완료 기준). 정답을 격리하겠다고 해 놓고, 근거 인용 심화와 3주 챌린지 모두에서 정답이 AI 대화에 새어 들어간 일이 있었습니다. 그때마다 기록을 남기고 세션을 새로 열었습니다. 파일 읽기를 도구에서 아예 막아 둔 AI는 정답을 보지 못했고, 규칙으로만 막은 쪽에서 샜습니다. 정답을 지키려면 적어 두는 게 아니라 못 하게 만들어야 했습니다.

이 글을 쓰면서도 같은 일이 있었습니다. AI와 지난 과제를 되짚다가, AI가 작성 안내의 예시 문장을 제 첫 과제 내용으로 옮겨 적었습니다. 저도 확인하지 않고 넘겼고, 멘토님이 초안을 읽어 보시고 나서야 바로잡았습니다. AI를 쓰면 일이 편해집니다. 하지만 편해진 만큼 안일해지고, 안일해지면 실수가 나기 마련입니다. 그래서 규칙이 필요하고, 결정은 꼭 사람이 내려야 합니다.

한계그래서 아직 모르는 것
자료가 도메인마다 17건자료가 많을 때 그래프가 이득인지
판정 대부분이 같은 계열 AI다른 계열이 보면 숫자가 달라지는지
14줄 진단은 저 혼자다른 사람이 분류해도 0줄인지

자료가 도메인마다 17건뿐이라, “자료가 다 읽을 수 없을 만큼 많을 때 그래프가 도움이 된다”는 가설은 시험하지 못했습니다. 그래프 추출부터 채점까지 대부분 같은 계열의 AI(Claude)가 했고, 다른 계열(Codex) 판정은 40개뿐이었습니다(기록). 14줄 진단도 저 혼자, 짝짓기 숫자를 이미 아는 상태에서 했습니다. 그리고 왜 그래프를 거치면 근거가 약해지는지는 아직 모릅니다.

비포 → 애프터

비포→애프터 대조 카드: 웹 채팅 AI 5개 → 에이전트 도구로 저장소에서 일함 / 묻고 끝 → 과정까지 커밋 / 다른 AI에 재질문 → 예측 먼저 커밋, 정답 격리 / RAG 약자만 앎 → 한 벌을 직접 만들고 재 봄 / 만든 것 없음 → 저장소·뷰어·개인 AI 비서

마무리

  • AI 홀로서기에 필요한 건, AI의 답도 제가 낸 숫자도 그대로 믿지 않고 근거부터 확인하는 습관이었습니다.
  • AI는 우리가 정한 규칙에 따라 일합니다. 원하는 결과가 안 나온다면 모델 탓일 수도 있지만, 그 전에 제가 정한 규칙이 너무 좁지 않았는지 잘 봐야 합니다.
  • 제 예측은 틀렸지만, 틀린 걸 제가 직접 잡았다는 게 오히려 반가웠습니다.

저는 지금도 AI에게 일을 맡기면, 결과를 보기 전에 어떻게 나올지 한 줄 적어 둡니다. 결과가 예측과 다르면, 그때가 숫자를 다시 열어 볼 때입니다. 읽는 분도 이번 주에 한 번만 해 보시면 좋겠습니다.

앞으로 두 달은 멘토님 없이 혼자 해 보는 홀로서기 기간입니다. 지금 키우고 있는 건 개인 AI 비서입니다. 구글 캘린더 일정 관리에서 그치지 않고, 제가 진행하는 프로젝트에서도 확실히 아는 사실 위주로 말하는 비서입니다. 확인되지 않은 사실은 지어내지 않고 “모른다”고 답하게 하겠습니다. 제가 잘 모르는 법 문제에서 위법 소지가 조금이라도 보이면, 바로 멈춰 주는 것까지가 목표입니다. 아직 못 푼 질문, 왜 그래프를 거치면 근거가 약해지는지도 문서 두 개를 잇는 선을 허용한 규칙으로 다시 재 보겠습니다.


글쓴이

에드워드 (안치헌)

홍콩대학교(HKU)에서 디지털인문학을 공부하며, AI 컨설팅에 관심이 있습니다.

2026년 8~11월 AI 에이전트 멘토링에서 근거를 달아 답하는 AI(RAG)를 직접 만들고 재 봤습니다.

지금은 모르는 건 “모른다”고 답하는 개인 AI 비서를 만들고 있습니다.

실습 저장소: github.com/Chihun-An/rag-field-scan