인공지능 기본법이 일주일 뒤면 시행된다. 2025년 1월 21일, 법은 고영향 AI라는 새로운 범주를 만들어낸다. 한편에선 규제의 틀을 짜느라 분주하고, 다른 한편에선 이미 AI가 누군가의 대출 심사를 거절하고 있다.
캐시 오닐의 『대량살상 수학무기』를 펴든 건 우연이었을까. 2016년에 쓰인 이 책은 알고리즘이 어떻게 불평등을 고착화하는지 추적한다. 수학자였던 저자는 월스트리트에서 일하다 2008년 금융위기를 목격했다. 그가 만든 모델들이 어떻게 작동했는지, 누구에게 피해를 입혔는지 깨달은 순간이었다.
고영향 AI의 정의를 두고 논란이 계속된다는 소식이 들려온다. 어디까지가 고영향인가. 무엇을 규제해야 하는가. 하지만 오닐이 던지는 질문은 다른 곳을 향한다. 우리가 보지 못하는 곳에서 알고리즘은 이미 누군가의 삶을 재단하고 있지 않은가.
책에는 한 교사의 이야기가 나온다. 워싱턴 D.C.의 공립학교에서 일하던 사라 위소키. 학생과 학부모에게 사랑받던 교사였지만 2011년 해고됐다. 알고리즘이 그녀의 교육 성과를 최하위로 평가했기 때문이다. 그녀는 왜 그런 점수를 받았는지 끝내 알 수 없었다.
한국의 AI 신용평가 이용자는 2020년 150만 명에서 2024년 680만 명으로 늘었다. 4년 만에 4.5배 증가다. 이들 중 몇 명이나 자신이 왜 그런 평가를 받았는지 알고 있을까. 설명할 수 없는 결정이 일상이 되어가는 속도는 규제가 따라잡을 수 있는 속도보다 빠르다.
오닐은 이런 알고리즘을 대량살상 수학무기라고 부른다. 불투명하고, 규모가 크고, 피해를 입힌다는 세 가지 특징을 가진다. 인공지능 기본법의 고영향 AI 정의와 겹쳐 보이는가. 하지만 정의는 언제나 현실보다 늦게 도착한다.
실리콘밸리의 한 스타트업은 얼굴 사진으로 신용도를 평가하는 AI를 개발했다가 철회했다. 피부색이 진할수록 신용도가 낮게 나왔기 때문이다. 편견은 데이터에 숨어 있다가 알고리즘을 통해 정당성을 얻는다. 수학이라는 객관의 외피를 입고서.
법안을 만드는 사람들과 알고리즘에 평가받는 사람들 사이의 거리는 얼마나 될까. 규제의 언어는 추상적이고, 피해는 구체적이다. 고영향이라는 범주가 만들어지는 동안에도 누군가는 알 수 없는 이유로 기회를 잃는다.
오닐의 책 제목 원제는 'Weapons of Math Destruction'이다. 대량파괴무기(WMD)를 비튼 언어유희다. 하지만 농담처럼 들리지 않는다. 보이지 않는 무기가 조용히 작동하는 동안, 우리는 여전히 정의를 논하고 있다.
인공지능 기본법이 시행되면 무엇이 달라질까. 고영향 AI가 규정되면 피해가 줄어들까. 아니면 합법의 테두리 안에서 더 정교하게 작동하게 될까. 답은 아직 없다. 다만 워싱턴의 한 교사가 받았을 당혹감이, 오늘 한국의 어디선가 반복되고 있을 뿐이다.