AI가 틀렸을 때, 책임은 누가 지나요?

우리 회사 AI가 내린 판단이 잘못됐을 때, 그 책임은 누가 지나요?

채용 지원자를 평가하는 AI, 대출 심사를 돕는 AI, 환불을 안내하는 챗봇. AI가 업무에 들어올수록 함께 정해야 할 것이 있습니다. 누가 결과를 검토하고, 잘못됐을 때 누가 바로잡을 것인가입니다.

Logicalis의 2026년 글로벌 CIO 보고서를 보면, 응답자의 94%는 지난 1년간 조직의 AI 도입 의욕이 커졌다고 답했습니다. 하지만 AI 통제 체계가 도입 속도를 따라갈 수 있다고 ‘매우 확신’한 응답은 34%에 불과했습니다. AI를 쓰려는 의욕만큼 관리하고 통제할 준비가 갖춰진 것은 아니라는 뜻입니다.

경찰청에서 AI 정책을 맡으며 적은 문장이 있습니다.

“AI에게 책임을 묻는 시스템은, 사실상 아무에게도 책임을 묻지 않는 시스템이다.”

머리로는 알고 있었지만, 실무에서 그 책임의 선을 어디에 그어야 하는지는 매번 새로운 고민과 문제였습니다.

네덜란드 보육수당 스캔들은 이 문제가 얼마나 심각해질 수 있는지 보여줍니다. 국세청은 부정수급 위험을 평가하는 알고리즘에 국적 정보를 사용했습니다. 차별적인 위험 분류와 부당한 조사·환수가 이어지면서 수많은 가정이 피해를 입었고, 2021년에는 내각이 총사퇴했습니다.

여기서 눈여겨볼 점이 있습니다. 공무원이 직접 검토하는 절차는 이미 있었습니다. 그러나 왜 해당 신청자가 높은 위험 점수를 받았는지에 관한 정보는 제공되지 않았습니다. 사람이 검토하도록 해놓고, 정작 검토에 필요한 근거는 주지 않은 겁니다.

그래서 제가 중요하게 보는 원칙은 이렇습니다. AI는 강력한 도구이되, 사람의 삶에 영향을 미치는 판단은 사람이 검토하고 바꿀 수 있어야 한다는 것. Human-in-the-Loop(HITL, 인간개입형 설계)가 실제로 작동하려면 이 권한이 있어야 합니다.

다만 “사람이 최종 결정한다”는 선언만으로는 부족합니다. 누가 무엇을 확인할지, 어떤 경우 AI 판단을 수정하거나 중단할 수 있을지, 그 판단의 이유를 어떻게 남길지까지 정해야 합니다.

책임을 정하지 않으면 담당자는 몸을 사릴 수 있습니다. 반대로 “회사가 다 책임진다”는 말만 있고 검토 기준이 없다면, AI 판단을 검증없이 믿고 업무를 하기 쉽습니다. 필요한 것은 책임의 범위와 판단 권한을 구체적으로 정하는 일입니다.

여러분 회사의 AI 시스템은 어떤가요. 직원이 AI 추천에 “아니오”라고 했을 때, 그 판단이 실제로 기록되고 결과를 바꾸나요, 아니면 그냥 형식적인 확인 버튼인가요.

[출처]
- Logicalis의 2026년 글로벌 CIO 보고서
https://logicalis.paperturn-view.com/logicalis-cio-report-2026?p=8&pid=ODk8943977&v=1.1

📘 『거대한 코끼리를 춤추게 하라』(박영사)