AI 바이오·제약 회사는 무엇부터 자동화해야 하는가 — 가상 회사 26주를 돌려서 실측한 것

Agentic PM · 바이오·제약 특집 ③ 완결편

“AI를 도입하자”는 합의는 쉽고, “그래서 무엇부터”는 어렵습니다. 그래서 가상 바이오 회사를 하나 만들어 26주를 돌렸습니다. 업무 421건·공수 957단위가 어디에 쌓이는지 재고, 검토자 구성을 바꿔가며 4조건 × 3반복으로 산출물을 뽑아 48번의 블라인드 심사에 부쳤습니다. 그리고 그 결과를 산업 데이터와 맞대봤습니다. 결론은 직관과 여러 번 어긋났습니다.

①이 도메인을, ②가 개인 도구를 다뤘다면, 이 글은 회사 단위의 운영 전략입니다. “우리 회사에 AI를 붙인다면 무엇부터, 어떤 검토를 달고, 어디서 멈추는가”에 실측으로 답합니다.

Part 1 · Evidence이 백서의 근거는 “주장”이 아니라 “돌려본 것”입니다

AI 도입 전략 문서가 흔히 실패하는 이유는 단순합니다 — 근거가 설문이거나 벤더 자료이기 때문입니다. 그래서 이번에는 재현 가능한 것부터 만들었습니다.

1.1 무엇을 돌렸나 — 가상 회사 S-Pharma의 26주

실제 회사 데이터는 쓸 수 없습니다(미공개 파이프라인·진행 중 거래조건은 외부 생성형 AI에 넣지 않는 것이 이 도메인의 기본 규율입니다). 그래서 가상 바이오 회사 S-Pharma를 설계하고, 신약 프로젝트 4개가 26주 동안 만들어내는 업무 이벤트를 결정적 시뮬레이션으로 생성했습니다. 결정적이라는 말은 같은 입력이면 언제 돌려도 같은 결과가 나온다는 뜻입니다 — 난수가 없으므로 누구든 재실행해 대조할 수 있습니다.

1.2 어떻게 검증했나 — 4조건 × 2과제 × 3반복

“검토자를 붙이면 좋아진다”는 말은 누구나 합니다. 문제는 얼마나, 어느 위험 구간에서, 어떤 종류의 검토자가입니다. 그래서 같은 과제를 네 가지 구성으로 각각 세 번씩 수행시켰습니다.

도식 2 · 네 조건의 설계. 이렇게 짜지 않으면 “검토자를 바꿨더니 좋아졌다”가 수 때문인지 종류 때문인지 영원히 구분되지 않습니다.

C와 D는 첫 검토자가 같습니다. 그래서 D − C는 순수하게 검토자 수의 효과이고, B와 D는 검토자 수가 같습니다. 그래서 B − D는 순수하게 검토자 종류의 효과입니다. 이렇게 짜지 않으면 “검토자를 바꿨더니 좋아졌다”가 수 때문인지 종류 때문인지 영원히 구분되지 않습니다.

과제는 두 개였습니다 — 저위험(상태 종합 보고, 판단위험 0.20)과 고위험(규제·거래성 판단이 섞인 산출물). 채점은 블라인드였습니다. 산출물에서 조건을 알 수 있는 흔적을 지우고, 반복마다 순서를 섞어, 두 명의 심사자가 서로 모르는 상태로 6개 축을 앵커 점수(0.25 / 0.50 / 0.75 / 1.00)로 매겼습니다.

1.3 산업 데이터 — 우리 실측만으로는 부족하니까

가상 회사 실측은 “우리 설계가 내적으로 일관되는가”만 답합니다. 그래서 별도로 7개 축(임상 성과·시간과 비용·규제·기술·조직·산업 트렌드, 그리고 반증 전용 축)으로 공개 출처를 조사해 맞대봤습니다. 반증 축을 따로 둔 이유는 단순합니다 — 유리한 자료만 모으면 조사가 아니라 홍보가 됩니다.

1.4 왜 빌드를 둘로 나눴나

같은 목적을 두고 서로 다른 두 개의 구축을 독립적으로 진행했습니다. 하나는 “누가 검토하는가”를 축으로 잡았습니다 — 검토 위원회·핸드오프 계약·결함 주입 검증. 다른 하나는 “일이 어디에 쌓이는가”를 축으로 잡았습니다 — 부하 실측·에이전트 도출·조건 대조 실험.

두 축이 직교했다는 점이 중요합니다. 각자가 “다음에 필요하다”고 적어둔 항목이 정확히 상대의 산출물이었습니다. 다만 두 빌드의 우열은 판정하지 않습니다 — 한쪽은 상대 결과를 명시적으로 배제하고 지었고 다른 쪽은 먼저 열람한 뒤 지었으므로, 능력 비교가 아니라 정보 비대칭 비교가 됩니다. 이 조건을 숨기면 비교 자체가 거짓말이 됩니다.

Part 2 · Order무엇부터 자동화하나 — 요청이 아니라 부하로 고릅니다

AI 도입의 첫 실패는 대개 기술이 아니라 순서에서 납니다. 사람들이 원한다고 말하는 것과 실제로 시간을 잡아먹는 것이 어긋나기 때문입니다.

2.1 가장 크게 어긋난 지점

이유는 어렵지 않습니다. 요청은 체감이고 부하는 사실입니다. 동향 모니터링은 “안 하면 불안한 일”이라 기억에 남고, 상태 보고와 계획 정합은 “그냥 늘 하는 일”이라 기억에 남지 않습니다. 그런데 후자가 시간의 절반을 씁니다.

도식 3 · 요청과 부하의 어긋남. 가장 많이 요청된 업무의 실제 공수는 요청 비중의 절반에도 못 미쳤습니다.

도식 4 · 부하 순 상위 셋이 61.1%를 덮습니다. 요청 순으로 셋을 고르면 20%대에 머뭅니다.

2.2 그리고 19.85%는 애초에 자동화 대상이 아닙니다

전체 공수의 19.85%는 사람이 확정해야 하는 8개 노드에 묶여 있습니다. 모델이 아무리 좋아져도 이 구간은 게이트로 남습니다 — 여기서 AI가 하는 일은 초안과 근거와 체크리스트이고, 확정은 자격을 갖춘 사람이 합니다.

2.3 자동화 여부를 정하는 공식

업무마다 감으로 판단하지 않으려면 식이 필요합니다.

2.4 에이전트를 새로 만들어도 되는지 — 6문 테스트

AI 도입 조직에서 조용히 벌어지는 낭비가 에이전트 증식입니다. 이름만 다른 역할이 계속 늘어납니다. 여섯 질문에 모두 답할 때만 새로 만듭니다.

Part 3 · Map파이프라인 어디에 사람이 서고 어디에 AI가 서나

“AI가 신약개발을 한다”는 말은 너무 뭉툭합니다. 실제로는 단계마다 사람과 AI의 배분이 다릅니다. 그래서 세 개의 티어로 나눴습니다.

3.1 세 개의 티어

도식 1 · 신약개발 파이프라인 × 횡단 층에 티어를 얹은 지도. AI 투자 판단의 출발점입니다.

3.2 개발 파이프라인 8단계 — 전부 T2입니다

여덟 단계가 전부 T2인 것은 우연이 아닙니다. 이 구간의 산출물은 대부분 다음 단계 의사결정의 입력이 됩니다. 판단위험이 구조적으로 높으니 T1로 내려올 수가 없습니다.

3.3 그런데 AI 가치가 몰린 곳은 파이프라인이 아니었습니다

3.4 진행/중단(Go/No-Go)은 T3입니다 — 다만 앞단은 T2입니다

여기가 실무에서 가장 자주 혼동되는 지점입니다. 게이트 준비와 게이트 판정을 나누지 않으면 둘 중 하나가 벌어집니다 — 게이트가 흐려지거나, 자동화 기회를 통째로 놓치거나.

Part 4 · Review검토를 어떻게 조립하나 — 실험이 답한 것과 답하지 못한 것

“검토자를 붙여라”는 조언은 공허합니다. 몇 명을, 어떤 종류로, 어느 위험 구간에 붙일지가 실무 질문입니다.

실험 이야기를 하기 전에, 검토 파이프라인이 어떻게 생겼는지 먼저 보는 편이 낫습니다. 아래가 두 빌드가 공통으로 도달한 모양입니다.

도식 5 · 검토 파이프라인. 멈출 수 있는 지점(BLOCK·REWORK·사람 확정)을 먼저 짓고 그 사이를 채웁니다.

4.1 가장 선명했던 결과 — 검토자 0명은 12번 다 꼴찌

저위험 과제 6회, 고위험 과제 6회, 총 12번의 독립 순위 심사에서 검토자 없는 구성(A)은 12번 모두 마지막이었습니다. 점수 평균이 아니라 심사자가 직접 매긴 순위라 동점 문제도 없습니다.

4.2 “수”인가 “종류”인가 — 이건 아직 못 가렸습니다

설계상 두 효과를 분리할 수 있게 짰고, 실제로 방향은 반대로 나왔습니다.

고위험 과제에서는 안전·출처 검토자를 하나 더 붙이는 편이, 도메인 검토자로 종류를 바꾸는 것보다 나았습니다. 다만 두 효과의 크기가 1.4배밖에 차이 나지 않아 어느 쪽이 지배적인지는 가려지지 않았습니다. 방향만 관측됐다고 적는 것이 정직합니다.

4.3 검토가 고치는 것과, 아무리 붙여도 못 고치는 것

도식 6 · 검토를 2명까지 붙였을 때 축별 변화. 위 세 축은 크게 오르고, 마지막 한 축은 내려갑니다.

이 한 줄이 AI 도입의 흔한 착시를 설명합니다. 통제를 촘촘히 붙이면 사고가 줄어드니 잘 되고 있다고 느끼지만, 의사결정의 질은 그대로입니다. 산출물이 실제로 유용해지려면 검토를 늘리는 게 아니라 입력과 질문 설계를 고쳐야 합니다. 단일 구성의 약점은 누락이 아니라 생성이었다는 점도 같은 이야기입니다 — 커버리지는 0.958로 이미 높았고, 무너진 건 함정 처리 0.458이었습니다.

4.4 이진 안전 게이트를 단일 임계값으로 두지 마십시오

실험 중 예상하지 못한 결과가 하나 나왔습니다. 바이트까지 동일한 문서가 심사자에 따라 FAIL 2 / PASS 2로 갈렸습니다. 네 심사자가 같은 두 문장을 문제로 인용했고 총점도 0.63~0.71로 붙어 있었습니다 — 갈린 것은 안전 앵커 한 칸이었습니다.

4.5 기계 게이트는 바닥이지 천장이 아닙니다

산출물 30건에 정규식 기반 계측을 돌렸습니다. 잡힌 진짜 위반은 0건이었습니다 — 탐지된 10건은 전부 오탐이었습니다. 질문 문장, 리스크 이름, 게이트 표의 행, 범위 제외 문구. 같은 산출물에서 사람과 검토 에이전트는 188건을 잡았습니다.

Part 5 · RealityLegacy 대비 효과 — 산업 데이터는 무엇을 말하나

여기까지가 우리가 돌려본 것입니다. 그렇다면 산업 전체에서는 기존 방식 대비 실제로 무엇이 얼마나 바뀌었을까요.

5.1 정량 — 속도는 실재하고, 성공률은 아직 아닙니다

도식 7 · 1상은 크게 뛰고 2상은 그대로입니다 — 안전한 분자는 잘 만들고, 듣는 약인지는 못 맞춥니다.

이 표가 이 글의 중심 그림입니다. AI는 임상 1상 — 안전성과 형식 요건의 관문 — 을 크게 잘 넘습니다. 그런데 2상, 즉 “이 약이 실제로 듣는가”에서는 기존과 사실상 같습니다. AI는 분자를 잘 설계하고, 생물학은 못 맞춥니다.

5.2 그리고 아직 승인된 신약은 없습니다

이 네 숫자를 나란히 놓으면 기술 성숙도와 사업 성과 사이의 간극이 보입니다. 도입률은 높고 성과는 낮습니다. 그리고 이 패턴은 우리 실측의 “검토를 늘려도 의사결정 유용성은 안 오른다”와 같은 이야기입니다 — 도입 자체가 성과를 만들지 않습니다.

5.3 규제 — 판은 이미 깔렸습니다

2025~2026을 지나며 규제 쪽 그림이 상당히 선명해졌습니다. 그리고 규제가 요구하는 방향은 우리가 설계한 게이트와 같거나 더 강합니다.

5.4 반증 신호 — 유리한 자료만 모으지 않기 위해

Part 6 · InsightC-Level 다섯, 그리고 실무 Role별로 무엇이 달라지나

6.1 경영진이 가져갈 다섯 가지

6.2 실무 Role별로 무엇이 달라지나

Part 7 · Roadmap0~90일, 그리고 1년 — 어디까지 갈 수 있나

7.1 처음 90일은 “재는 것”부터

90일 목표는 명확합니다 — 공수 상위 3개 업무(누적 61.1% 상당)에 검토 파이프라인을 붙이고, 재실행·계측·추적이 가능한 상태(L3)에 도달하는 것.

7.2 성숙도 사다리 — 그리고 두 빌드가 멈춘 곳

7.3 L3 → L4로 넘어가는 다섯 관문

7.4 흔한 실패 아홉 가지

7.5 릴리스 전 30초 점검표

Part 8 · Limits이 백서가 하지 않는 주장

무엇을 입증했는지만큼 무엇을 입증하지 않았는지가 중요합니다. 이 목록을 지우면 이 글은 마케팅 자료가 됩니다.

8.1 그래서 다음 투자는 어디로

산문을 늘리는 구간은 이미 지났습니다. 승인 서명 한 장이 문서 열 개보다 앞으로 나아가게 합니다.

8.2 남는 이야기

이 특집 3부작을 관통하는 문장은 하나입니다 — AI는 판단을 대체하지 않고 준비를 대신합니다. ①에서 도메인의 관문 구조로, ②에서 개인 에이전트의 안전 게이트로, 그리고 이 글에서 회사 단위의 부하·검토·게이트 설계로 같은 원리가 반복됐습니다.

바이오·제약은 틀린 답이 곧 규제 리스크가 되는 도메인입니다. 이런 곳일수록 AI는 “알아서 해주는 마법”이 아닙니다. 사람이 확정하는 게이트를 촘촘히 붙인 협업 도구일 때 안전하고 유용합니다. 그리고 그 게이트를 어디에 둘지는 의견이 아니라 실측으로 정할 수 있습니다. 가상 회사 하나를 26주 돌려보는 일은, 생각보다 해볼 만합니다.