AI는 답보다 ‘낯선 수’를 줄 때 사람을 키웁니다 — 바둑 580만 수 연구로 다시 짠 컨설턴트의 AI 자기개발법

PART 01 · Evidence71년 동안 평평하던 판단의 질이 알파고 뒤에 움직였습니다

연구진은 1950년부터 2021년까지 프로 기사들이 둔 580만여 수를 모았습니다. 바둑 기보 데이터베이스를 사서 썼습니다. 수 하나하나의 질은 사람보다 강한 바둑 AI인 KataGo로 쟀습니다. 같은 자리에서 AI가 둘 최선의 수를 만들고, 사람이 실제로 둔 수와 승률을 비교하는 방식입니다. 수마다 1만 개의 가상 대국을 돌렸고, 모두 580억 개였습니다.

이렇게 만든 지표가 판단 질 지수(Decision Quality Index·DQI)입니다. 100%에서 ‘AI 최선의 수의 승률과 사람이 둔 수의 승률 차이’를 뺀 값입니다. 사람이 AI만큼 두면 100%에 가까워집니다.

결과는 연구진의 예상과도 달랐습니다. 2016년까지 66년 동안 판단의 질은 거의 오르지 않았습니다. 그러다 2016년 3월 15일 알파고가 세계 챔피언을 이기고, 2017년 초인 AI 프로그램들이 공개된 뒤 뚜렷하게 올랐습니다. 연도별로 봐도, 월별로 봐도 같은 모양이었습니다.

한 가지가 더 흥미로웠습니다. 사람의 실력은 오랫동안 쌓여 왔는데, 판단의 질은 왜 66년 동안 제자리였을까요. 논문은 기존 연구를 빌려 답합니다. 남들이 효과를 보여 준 익숙한 방법이 있으면, 전문가도 낯설지만 더 나은 대안을 잘 받아들이지 못한다는 것입니다. 익숙함이 천장이었습니다.

PART 02 · Novelty낯선 수는 원래 손해였고, AI 뒤에 그 손해가 대부분 사라졌습니다

연구진은 새로움도 쟀습니다. 대국마다 처음으로 ‘역사상 없던 수순’이 되는 수를 찾았습니다. 앞의 9수까지는 과거 기보에 있었는데 10번째 수에서 처음 보는 수순이 되면, 10번째 수가 그 대국의 새로운 수입니다. 이 수가 일찍 나올수록 새로움이 큰 대국입니다. 초반 60수까지만 봤습니다.

AI 등장 뒤 이 새로운 수는 더 일찍 나왔습니다. 기보가 쌓일수록 새로운 수는 늦게 나오기 마련인데, 그 흐름을 거슬러 앞당겨졌습니다. 기사들이 익숙한 수순에서 더 일찍 벗어났다는 뜻입니다.

제가 가장 오래 들여다본 것은 회귀분석 표 한 장이었습니다. 분석한 수는 5,857,513수입니다. ‘새로운 수’의 계수는 −0.61이었습니다. AI 이전에는 새로운 수의 판단 질 지수가 그렇지 않은 수보다 평균 0.61 낮았다는 뜻입니다.

그런데 ‘AI 이후이면서 새로운 수’에 붙는 계수가 +0.52였습니다. 두 값을 더하면 AI 이후 새로운 수의 손해는 0.09로 줄어듭니다.

이 대목이 제게는 논문의 핵심이었습니다. 새로운 시도는 공짜가 아니었습니다. 익숙하지 않은 수는 평균적으로 손해 보는 수였습니다. AI 등장 뒤에는 낯선 수를 두어도 거의 손해 보지 않게 됐고, 기사들은 낯선 수를 더 일찍 두었습니다. 무엇이 그 손해를 줄였는지는 논문도 확정하지 않았습니다. 저는 사람보다 강한 상대와 채점기가 늘 곁에 있게 된 것이 큰 몫이었다고 추론합니다.

PART 03 · MemorizationAI의 수를 외워서 오른 것이 아니었습니다

가장 쉬운 반론은 암기입니다. 기사들이 AI의 수를 외워 그대로 둔 것 아니냐는 것입니다. 연구진은 이 반론을 네 가지로 시험했습니다.

사람의 수 가운데 약 40%는 AI 최선의 수와 같았습니다. 나머지 약 60%만 따로 봐도 AI 등장 뒤 판단의 질이 올랐습니다. 바둑은 21수까지 가면 초반 수순의 99%가 역사상 처음 보는 수순이 됩니다. 외울 수 없는 국면인데도 21수에서 50수 사이의 판단이 좋아졌습니다.

상대가 AI의 수순에서 벗어난 직후의 응수도 좋아졌습니다. 외운 수순이 끊긴 자리입니다. 마지막으로 연구진은 AI끼리 둔 60만 수를 AI 등장 직전의 기보인 것처럼 끼워 넣었습니다. 기사들이 AI에게서 본 수를 따라 둔 것이라면 새로움이 줄어야 합니다. 새로움의 추세는 거의 변하지 않았습니다.

저는 이 네 시험을 ‘복사인가, 학습인가’를 가르는 판별법으로 읽었습니다. AI가 둔 자리에서 잘 두는 것은 복사일 수 있습니다. AI와 다르게 둔 자리, 외울 수 없는 국면, 상대가 판을 흔든 직후에 잘 두는 것이 학습입니다. 업무로 옮기면 고객이 요구를 바꾼 직후의 대응입니다.

PART 04 · Field제 일에서는 AI가 업무의 경계를 넓혔습니다

저는 고객사에서 요구를 정리하고, 일정과 위험을 관리하고, 구현과 검증을 이끌고, 현장에 들어가 직접 만듭니다. 올해 2월, 이 일하는 방식을 담는 저장소를 하나 만들었습니다. Sillok(실록)이라는 하네스입니다. 하네스는 AI 바깥에서 지침·기억·검증을 관리하는 운영 장치입니다.

그 뒤 9개월 동안 제가 직접 만든 저장소(포크 제외)는 33개가 됐습니다. 2월에는 셸·파이썬·HTML 저장소뿐이었습니다. 4월에 타입스크립트가, 10월에 러스트(Rust)가, 10월과 11월에 스위프트(Swift)가 더해졌습니다. 러스트 저장소는 Windows와 Mac에서 함께 도는 한영 자동 입력기이고, 스위프트 저장소 5개는 Mac 앱과 그 공통 골격입니다. PM 컨설턴트에게 시스템 언어로 입력기를 만드는 일은 분명 낯선 수였습니다.

고객 일도 넓어졌습니다. 한 중견 제조사와의 6개월은 문서 RAG로 시작했습니다. 그 일은 물류 55개 프로세스의 흐름과 신호등, ERP 사용 판정, 자동차 품질 표준 대조까지 갔습니다(중견 제조사의 AX 6개월). 사내 RAG는 기업 RAG 운영 교훈 시리즈로 실험을 남겼습니다. VM에서 한영 전환이 막혀 입력 도우미를 직접 만든 일도 있었습니다.

하네스의 라우터 기록에도 같은 모양이 보입니다. 라우터는 요청마다 어느 업무 영역의 지침 묶음(도메인 팩)을 쓸지 고릅니다. 한 번이라도 고른 도메인 팩이 5월 16개에서 11월 32개로 늘었습니다. 6월 구매·조달 운영, 7월 컨설팅 수행 패턴과 역량 평가 면접, 9월 공공 사업관리(PMO), 10월 네이티브 앱 개발, 11월 기업 프로세스 혁신이 차례로 처음 나왔습니다.

바둑 연구의 말로 옮기면, 제 기보에 처음 보는 수순이 더 일찍, 더 자주 나오고 있습니다. 문제는 그다음입니다. 그 낯선 수의 질은 누가 잴까요.

PART 05 · Judge범위가 넓어질수록 비어 있던 것은 심판이었습니다

바둑에서는 KataGo가 모든 수를 채점합니다. 낯선 수를 둔 뒤 그 수가 좋았는지 곧바로 확인할 수 있습니다. 논문도 기사들이 개인 연구에서 AI를 썼을 가능성을 직접 다룹니다. 앞의 네 번째 시험이 그것입니다.

제 업무에는 그런 심판이 없었습니다. 6개월 작업 기록을 다시 재 보니, 결과물 품질 점수기는 제가 고치라고 돌려보낸 결과물에 0.992점, 그대로 받아들인 결과물에 0.993점을 줬습니다. 둘을 가르지 못한 것입니다.

다른 회사의 AI 모델에게 심판을 맡겨 봤지만, 제 판정과의 일치도(카파)는 −0.145였습니다. 우연히 맞는 수준에도 못 미쳤습니다.

같은 6개월 동안 제가 가장 많이 한 교정은 ‘빠뜨림’이었습니다. 키워드로 분류한 추정치로 교정 228건 중 41건이었고, 6개월 내내 1위였습니다. 범위는 넓어졌지만 첫 보고에서 무언가를 빠뜨리는 일은 줄지 않았습니다.

그래서 영역마다 작은 심판을 따로 세웠습니다.

이 글도 그렇게 만들었습니다. 본문의 숫자는 하나하나 원천 문구와 짝지어 두었고, 짝이 맞지 않으면 글이 만들어지지 않습니다. 코드와 앱은 회귀 시험을 통과하고 실제 화면을 확인하기 전에는 ‘완료’라고 쓰지 않습니다. 고객 일은 인수 기준을 먼저 적고, 결정은 사람이 합니다.

작은 심판들은 바둑의 KataGo보다 약합니다. 낯선 수가 틀리지 않았는지는 잡지만, 더 좋은 수였는지는 말해 주지 못합니다. 그래서 지금 제 자기개발의 가장 큰 숙제는 판단 전체를 재는 심판입니다.

PART 06 · PracticeAI로 더 강해지는 자기개발, 다섯 수로 돌립니다

논문의 장치를 하나씩 업무 습관으로 옮기면 다섯 수가 됩니다. 한 달을 한 판으로 보고 돌리는 것을 권합니다.

① 정답 대신 낯선 수를 묻습니다

AI에게 ‘어떻게 하면 되나요’라고 물으면 대개 가장 무난한 답이 옵니다. 그 답은 이미 알던 수일 때가 많습니다. 질문을 바꿔 보십시오. 늘 하던 방식을 먼저 적고, 그 방식이 아닌 세 가지와 각각이 이기는 조건을 묻습니다. 논문에서 판단과 함께 움직인 것은 기보에 없던 수를 더 일찍 둔 일이었습니다.

② 두기 전에 심판부터 세웁니다

낯선 수는 원래 손해였습니다. 심판 없이 낯선 수만 늘리면 손해도 함께 늘어납니다. 새 영역의 일을 시작할 때는 결과물보다 채점 기준을 먼저 적습니다. 문서라면 숫자마다 원천 문구, 코드라면 실패하는 시험 하나, 고객 일이라면 인수 기준 세 줄입니다. 기준은 AI와 함께 만들되, 통과 여부는 사람이 봅니다.

③ AI와 다르게 둔 자리를 따로 기록합니다

논문의 첫 번째 반증은 AI와 다르게 둔 수였습니다. 실력은 AI 제안을 그대로 받은 자리보다, 받지 않고 다르게 둔 자리에서 드러납니다. AI 제안을 버리거나 고친 결정을 한 줄씩 남겨 두십시오. 한 달 뒤 그 결정이 맞았는지 결과와 대조하면, 그것이 나만의 판단 질 지수가 됩니다. 고객이 요구를 바꾼 직후의 대응도 같은 칸에 적습니다.

④ 같은 유형의 새 문제는 AI 없이 먼저 둡니다

외운 것과 익힌 것은 처음 보는 국면에서 갈립니다. 같은 유형의 새 문제를 만나면 AI를 열기 전에 15분 동안 혼자 초안을 둡니다. 그다음 AI의 안과 대조해 차이를 적습니다. 차이가 줄어드는 영역은 익힌 영역이고, 차이가 그대로인 영역은 아직 빌린 영역입니다.

⑤ 기보를 남기고, 지표를 바꿉니다

이 연구가 가능했던 것은 71년의 기보가 남아 있었기 때문입니다. 제 하네스는 작업마다 근거 자료를 읽었는지, 읽지 않았다면 왜인지 한 줄을 남깁니다. 결과 기록은 지식 저장소로 돌아갑니다. 그 기록이 있어서 이 글의 숫자를 다시 셀 수 있었습니다.

지표도 바꿔 보십시오. ‘몇 시간을 줄였나’ 대신 새로 손댄 영역의 수, 채택한 낯선 대안의 수, 교정의 종류를 한 달마다 셉니다.

다섯 수를 그대로 쓸 수 있는 원문입니다. 빈칸만 채워 AI에게 붙여 넣거나 기록장에 옮기면 됩니다.

[① 낯선 수] 제가 늘 하는 방식은 ____입니다. 이 방식이 아닌 대안 세 가지를 주십시오.
대안마다 이 방식을 이기는 조건, 지는 조건, 첫 시험 방법을 한 줄씩 적어 주십시오.

[② 심판] 결과물을 받기 전에 채점 기준부터 정합니다. 통과와 실패를 가를 기준 세 줄과,
각 기준을 확인할 원천 또는 시험을 적어 주십시오. 근거가 없는 기준은 '미정'으로 남겨 주십시오.

[③ 다르게 둔 수] 날짜 · 자리 · AI 안 · 내가 둔 수 · 이유 · 한 달 뒤 결과

[④ 혼자 두기] 제 초안과 당신의 안을 비교해 주십시오. 차이를 '제가 몰랐던 원리 / 상황 차이 /
제 오류' 셋으로 나누고, 제가 맞은 부분도 적어 주십시오.

[⑤ 기보] 이번 달: 새로 손댄 영역 ____개 · 채택한 낯선 대안 ____개 · 교정 1위 ____ ·
혼자 두기 차이가 줄어든 영역 ____

[범위 재기] gh repo list <계정> --limit 200 --json name,createdAt,isFork,primaryLanguage

PART 07 · Limits이 연구와 제 기록이 말하지 않는 것

이 논문은 관찰 연구입니다. ‘AI 등장이 새로움을 늘렸고, 새로움이 판단을 키웠다’는 연결고리 하나하나가 인과인지는 확정되지 않았습니다. 저자들도 이것을 첫 번째 후속 과제로 적었습니다. AI가 새로움이 아닌 다른 경로로 판단을 키웠을 가능성도 열어 두었습니다.

새로움의 정의도 좁습니다. 기보에 없던 수순이 처음 나온 자리를 셌을 뿐, 사람의 창의성 전체를 잰 것이 아닙니다. 그리고 바둑과 지식노동은 조건이 다릅니다.

표 전체가 보이지 않으면 좌우로 이동해 보세요.

제 기록은 한 사람의 기록입니다. 저장소 수와 도메인 팩 수는 손댄 범위를 보여 줄 뿐, 그 일을 잘했는지는 말하지 않습니다. 도메인 팩에는 건강·달리기·여행 같은 생활 영역도 섞여 있습니다. 라우터 원장이 5월에 시작해서 5월 값에는 그 이전의 사용이 모두 들어 있습니다.

범위가 넓어지면 얕아질 위험도 있습니다. 6개월 내내 교정 1위가 빠뜨림이었다는 것은 그 위험의 신호일 수 있습니다. 이 글이 심판을 가장 앞에 둔 이유입니다.

PART 08 · Closing이번 주에 시작할 수 있는 일

세 줄로 다시 정리합니다. 바둑 연구에서 판단의 질과 함께 움직인 것은 AI의 정답이 아니라 더 일찍 둔 낯선 수였고, 그 수의 손해는 AI 뒤 대부분 사라졌습니다. 제 일에서도 AI는 업무의 경계를 넓혔습니다. 그 범위를 판단력으로 바꾸려면 심판과 기보가 필요합니다.

이번 주에는 이번 달 새로 손댄 일 하나만 고르십시오. 그 일에 대해 AI에게 늘 하던 방식이 아닌 세 가지를 묻고, 하나를 고르기 전에 채점 기준 세 줄을 먼저 적습니다. 첫 입력은 한 줄입니다.

제가 늘 하는 방식은 ____입니다. 이 방식이 아닌 대안 세 가지와, 각각이 이기는 조건·지는 조건·첫 시험 방법을 한 줄씩 주십시오.

채점 기준이 끝내 적히지 않는 칸이 나올 수 있습니다. 그 칸이 이번 달 가장 큰 배움의 자리이고, 이 글의 산출물입니다.

함께 읽으면 좋은 글은 역량은 합치고, 결정권은 나눕니다 — AI/AX 인재 역량정의서와 AI 가드레일은 지침 문장이 아니라 집행 장치입니다입니다. 앞의 글은 이 다섯 수를 역량 지도에 놓는 법을, 뒤의 글은 심판을 장치로 만드는 법을 다룹니다.

이세돌 9단의 말은 논문이 인용한 영어 문장을 제가 옮긴 것입니다. 논문 원문: Minkyu Shin, Jin Kim, Bas van Opheusden, Thomas L. Griffiths, Superhuman artificial intelligence can improve human decision-making by increasing novelty, PNAS 120(12) e2214840120, 2023. 재현 자료와 코드는 저자들이 OSF에 공개했습니다. 이 글은 AI의 도움을 받아 썼고, 수치와 인용은 사람이 원천과 대조했습니다.