AI로 잘 다듬은 이력서, 무엇으로 읽어낼 것인가 — 막지 않기로 한 평가 설계

AX 시대의 사람·소통 ⑤ · 평가받는 쪽의 AI

지원 서류를 AI로 다듬는 일은 이미 기본값입니다. 그래서 KT DS 평가자 양성 과정이 첫 시간에 정한 문제는 “어떻게 막을까”가 아니라 “무엇으로 읽어낼까”였습니다. 도구를 한쪽만 쥐고 있던 시절이 끝나면 남는 변수는 하나입니다 — 대화. 세 차수 45명이 사흘 동안 그 하나를 연습했고, 현장에서 나온 유일한 정면 반론이 이 설계의 성격을 드러냈습니다.

이 과정은 두 사람이 함께 수행했습니다. 대화·코칭 파트는 한채원 코치(코나 심리상담센터 센터장)가, AI·도구·프레이밍 파트는 필자가 맡았습니다. 이 편은 후자에 관한 기록입니다. 코치의 약식 프로필은 글 맨 아래에 있습니다.

Part 1 · Premise평가받는 쪽도 AI를 씁니다

교육 첫 시간, 실습의 목적을 도구 학습이 아니라 방어 논리로 규정하는 데서 시작했습니다.

이 문장에서 눈여겨볼 것은 “막는다”는 말이 없다는 점입니다. 전제는 “쓸 것이다”이고, 물음은 “그때 무엇으로 확인하느냐”입니다. 이 차이가 설계 전체를 갈랐습니다.

갈래는 셋이었고, 하나만 성립했습니다

세 갈래의 정리는 필자의 것입니다. 현장에서 세 안을 놓고 비교한 것이 아니라, 셋째 갈래만 실행했습니다.

그래서 배선이 이렇게 됩니다

Part 2 · Counter현장에서 나온 유일한 정면 반론

오전 실습이 끝나 갈 무렵, 한 참가자가 이 설계의 급소를 정확히 짚었습니다.

Part 3 · Answer그래서 대칭은 문제가 아닙니다

반론에 대한 답을 정리하면 이렇습니다. 준비된 답은 뚫어야 할 벽이 아니라 출발점입니다.

Part 4 · Device무엇으로 읽어내나 — 네 가지 장치

“대화로 확인한다”는 말은 그것만으로는 아무 설계도 아닙니다. 실제로 쓴 장치는 넷이었습니다.

② 공백 겨냥 — 이 설계의 핵심

가장 반직관적인 장치입니다. 보통은 쓰여 있는 것을 확인하려 합니다. 그런데 잘 다듬어진 문서에서 쓰여 있는 것은 이미 여러 번 손질된 부분입니다. 대신 이렇게 묻습니다 — 이 이력이라면 당연히 있어야 할 텐데 어디에도 나오지 않는 것은 무엇인가. 도구는 그 빈칸을 찾는 데 씁니다. 질문은 그 빈칸에 겁니다.

③ 행동 분리 — 문장 하나

④ 왜곡 네 방향 — 부풀림은 그중 하나

연습용 대상자 유형은 넷입니다 — 성과 부풀림형 · 소극적 축소형 · 방어적 회피형 · 이론은 강하고 실무는 약한 형. 열두 직무마다 네 유형을 각각 세 벌의 자료로 만들어 144개를 준비했습니다.

그리고 AI가 하지 않는 일

같은 오전에 다른 회사에서 만든 업무용 에이전트를 시연으로 보여 주면서, 도구의 출력에 근거의 성격을 색으로 구분해 두는 방식을 함께 다뤘습니다 — 사내 근거 · 공개 표준 · 추론 셋입니다. 앞의 둘은 확인된 것이고, 셋째는 다릅니다.

Part 5 · Limit그래도 뚫리지 않는 것

여기까지가 설계이고, 여기부터는 이 설계가 못 하는 것입니다. 이 대목을 빼면 홍보물이 됩니다.

첫째 — 대화도 만능은 아닙니다

필자 본인이 다른 회사에서 사외 평가자로 참여했을 때의 경험입니다. 한 사람을 상당히 좋게 평가했는데, 나중에 보니 답을 외운 것이었습니다. 내부 평가자는 그 사정을 알고 있었고, 그 정보가 공유된 뒤에야 점수를 낮춰 보정했습니다.

둘째 — 같은 답변, 다른 점수

세 차수의 사전 걱정 35건 가운데 12건이 공정성과 판정 기준에 몰렸습니다. 압도적 1위였습니다. 그런데 이 과정이 다룬 것은 근거를 모으는 법까지였습니다.

같은 답변을 두 사람이 독립적으로 채점하면 점수가 갈립니다. 그 편차를 좁히는 자리를 이 과정은 만들지 않았습니다. 차기 차수의 첫 번째 숙제로 올려 뒀습니다 — 같은 답변을 두 사람이 따로 채점하고, 편차를 그 자리에서 공개하고, 기준 문장을 합의하는 20분.

셋째 — 측정하지 않은 것

한 줄로 남기면

평가받는 쪽이 도구를 쓰는 것을 막을 수는 없습니다. 그리고 막을 필요도 없습니다. 도구가 대칭이 되면 남는 변수는 대화 능력 하나이고, 그 하나는 원래부터 평가가 보려던 것이었습니다. 정리하면 이렇습니다 — 문서는 도구가 다듬을 수 있지만, 되물었을 때 나오는 한 겹은 겪은 사람에게서만 나옵니다.