AI가 쓴 보고서에 내 이름을 올려도 될까

연휴 기간에 흥미로운 뉴스를 봤습니다.

미국 시카고대 통계학 교수 니컬러스 폴슨은 올해 9개월 동안 200편이 넘는 논문을 쓰거나 공동 저자로 참여했습니다. 연구 과정에서 AI를 활용했다는 사실도 인정했습니다. 논란이 커진 뒤 논문 플랫폼 SSRN은 관련 글 257건을 삭제하고 계정을 동결했습니다.

다만 257편이 연구부정으로 학술지에서 ‘철회’된 것은 아닙니다. SSRN은 동료심사 전 연구물도 올라오는 플랫폼이고, 보도에 따르면 AI 사용 미공개와 이례적인 대량 투고 등이 문제가 됐습니다.

이 사건을 보면서 다른 질문이 들었습니다.

AI로 논문을 쓴 것이 문제일까요? 아니면 AI를 썼다고 밝히지 않은 것이 문제일까요?

그렇다면 “AI를 사용했습니다”라고 밝히기만 하면 괜찮을까요?

국제기준(ICMJE)을 찾아보니 AI 사용을 공개하도록 하면서도 AI는 저자가 될 수 없다고 합니다. AI는 자신이 만든 내용의 정확성과 무결성에 책임질 수 없기 때문입니다. 결국 책임은 인간 저자에게 있습니다.

이 문제를 업무로 가져오면 더 복잡해집니다.

AI가 20쪽짜리 보고서의 80%를 작성했다고 해보겠습니다. 담당자는 근거와 숫자를 확인했고, 왜 그런 결론이 나왔는지 이해하고 있습니다. 상사가 질문해도 자기 말로 설명할 수 있습니다.

반대로 사람이 문장은 직접 고쳤지만 숫자의 출처도 모르고, AI가 왜 그런 결론을 냈는지도 설명하지 못한다면 어떨까요.

둘 중 어느 쪽이 더 문제일까요.

여기서 흔히 말하는 Human-in-the-loop를 다시 생각하게 됩니다.

AI가 판단하고 마지막에 사람이 승인하면 안전하다고 생각하기 쉽습니다. 하지만 내용을 이해하지 못한 채 승인 버튼만 누른다면 정말 사람이 ‘루프 안에 있다’고 할 수 있을까요?

학계에는 이보다 한 단계 더 나아간 Meaningful Human Control(의미 있는 인간 통제)이라는 개념이 있습니다.

단순히 사람이 절차 안에 있는 것이 아니라, AI의 결과를 이해하고 검증하며, 틀렸다면 거부하거나 바꿀 수 있어야 합니다.

AI의 판단을 무심코 따르는 Automation Bias, 실제 통제권은 부족한데 사고가 나면 인간에게 책임이 집중되는 Moral Crumple Zone도 비슷한 문제를 다룹니다.

앞으로 “이 업무에 AI를 썼습니까?”보다 네 가지를 물어야 하지 않을까요.

이 결과를 이해했는가.
직접 검증했는가.
틀렸다면 거부할 수 있는가.
내 이름을 걸고 설명하고 책임질 수 있는가.

사람이 마지막에 있다는 것과 사람이 판단한다는 것은 다릅니다.

AI가 더 많은 일을 대신할수록 인간의 역할은 더 분명해져야 합니다.

직접 모든 것을 만드는 사람에서, AI가 만든 것을 검증하고 판단하고 책임지는 사람으로.

어쩌면 이것이 AI 시대의 새로운 업무 역량인지도 모르겠습니다.