데이터가 완벽해 보일수록, "다시 확인해 보자"는 말이 필요합니다

모든 숫자가 한 방향을 가리키는 보고서가 있습니다. 그럴 때 "그래도 뭔가 이상한데요"라고 말하기는 쉽지 않습니다. 데이터가 깔끔할수록 반론은 '감'으로 치부되기 쉽습니다.

통계학에서 자주 인용되는 이야기가 있습니다. 2차 세계대전 때 전투를 마치고 돌아온 비행기의 총알 자국을 분석하는 작업이 있었습니다. 구멍이 몰린 곳을 더 튼튼하게 보강하는 것이 자연스러운 결론처럼 보였습니다.

통계학자 에이브러햄 왈드의 문제의식을 질문으로 바꾸면 이렇습니다. 돌아오지 못한 비행기는 어디를 맞았을까.

손상 기록은 돌아온 비행기에만 있었습니다. 구멍이 적은 부위는 튼튼해서가 아니라, 그곳을 맞은 비행기가 돌아오지 못했기 때문일 수 있었습니다. 왈드는 부위별로 맞을 가능성까지 따져, 돌아온 비행기의 기록으로 각 부위가 얼마나 치명적인지 추정했습니다.

데이터가 틀린 게 아니었습니다. 데이터는 돌아온 것만 정확히 보여줬을 뿐입니다.

회사도 다르지 않습니다. 현재 고객과 재직자만 조사하면, 떠난 사람들의 불만과 이탈 이유를 놓칠 수 있습니다.

이렇게 일부만 담긴 데이터를 AI에 분석시켜도, 빠진 사례가 저절로 채워지지는 않습니다. AI는 그 데이터로 그럴듯한 답을 더 빨리 낼 뿐입니다.

더 걱정되는 건 그다음입니다. AI가 늘 먼저 답을 내놓으면, 사람은 "일단 AI가 뭐라는지 봅시다"부터 하게 됩니다.

2025년 폴란드 연구에서는 AI 보조 대장내시경이 도입된 뒤, 숙련 의사 19명이 AI 없이 한 검사의 선종 발견율이 28.4%에서 22.4%로 떨어졌습니다. 관찰연구라 AI가 원인이라고 단정할 수는 없지만, AI에 기대는 동안 사람의 발견력이 떨어질 수 있다는 신호입니다.

그래서 AI를 들일 때 세 가지를 함께 설계해야 한다고 생각합니다.

① AI의 결론만 띄우지 말고, 그 결론에 영향을 준 근거 두세 개를 같이 보여줄 것
② "이 데이터에 빠진 것은 무엇인가"를 검토 질문으로 정해둘 것
③ 결론이 깔끔할 때도 "다시 보자"고 말할 수 있는 시간과 권한을 남겨둘 것

데이터가 완벽해 보일수록, 그 데이터에 없는 것을 물어야 합니다.

여러분의 조직에는 모든 지표가 '문제없음'일 때 "다시 한번 보자"고 말할 수 있는 사람이 있습니까?

[출처]
Wald, 「A Method of Estimating Plane Vulnerability Based on Damage of Survivors」(1943), CNA 재발간(1980)
Budzyń 외, 「Endoscopist deskilling risk after exposure to AI in colonoscopy」, Lancet Gastroenterol Hepatol (2025)
📘 『거대한 코끼리를 춤추게 하라』, 이치화, 박영사, 10장