기계가 위험을 먼저 알아차린다는 믿음이 있다. 인간의 눈이 놓치는 균열을 센서가 포착하고, 패턴을 학습한 알고리즘이 사고를 예측한다는 믿음. 인텔리빅스라는 안전 AI 기업이 코스닥 상장을 준비한다는 소식은 그래서 단순한 기업 뉴스가 아니다. 재난재해 예방, 산업 현장 안전 관리를 표방하는 이 회사의 상장은 우리가 위험을 대하는 방식이 어떻게 변하고 있는지를 보여준다.
찰스 페로가 1984년에 쓴 '정상 사고'는 아직도 읽힌다. 스리마일 원전 사고를 분석한 이 책은 복잡한 시스템일수록 사고가 필연적이라고 말한다. 아이러니하게도 안전장치가 많을수록, 시스템이 정교할수록 예측 불가능한 상호작용이 늘어난다. 그가 '정상 사고'라고 부른 것은 비정상적인 사고가 아니라, 시스템의 정상 작동 과정에서 일어나는 불가피한 사고였다.
40년이 흘렀다. 이제 우리는 AI가 그 복잡성을 관리할 수 있다고 믿는다. 수천 개의 센서가 24시간 데이터를 수집하고, 딥러닝 알고리즘이 위험 신호를 찾아낸다. 인텔리빅스 같은 기업들이 약속하는 것은 명확하다. 기술이 인간의 한계를 넘어설 것이라는 약속.
그런데 페로의 통찰은 여기서도 유효할까? 복잡성이 복잡성을 낳는다는 그의 경고는 AI 시대에 어떤 의미를 가질까. 알고리즘이 예측하지 못한 사고가 일어났을 때, 우리는 무엇을 탓하게 될까. 데이터 부족을 탓할까, 알고리즘의 한계를 탓할까, 아니면 여전히 인간의 실수를 찾아낼까.
산업재해 통계를 보면 흥미로운 지점이 있다. 자동화가 진행될수록 사고 건수는 줄어들지만, 일단 사고가 나면 그 규모는 커진다. 시스템이 정교해질수록 작은 실수의 파급력은 증폭된다. AI가 관리하는 안전 시스템도 이 패러다임을 벗어날 수 있을까.
페로는 항공기 조종실을 예로 들었다. 수백 개의 계기판과 경고등이 있지만 정작 위급 상황에서는 조종사의 직관이 더 빠를 때가 있다. 시스템이 복잡해질수록 인간은 시스템을 이해하기 어려워지고, 결국 블랙박스를 믿는 수밖에 없게 된다.
AI 안전 관리 시스템도 마찬가지다. 알고리즘이 왜 특정 상황을 위험하다고 판단했는지 인간은 알 수 없다. 설명 가능한 AI를 만들겠다고 하지만, 진짜 문제는 설명의 복잡성이 인간의 이해 범위를 넘어선다는 점이다. 우리는 이해하지 못하는 것을 신뢰해야 하는 처지에 놓인다.
그렇다고 기술을 거부할 수는 없다. 인텔리빅스의 상장이 보여주듯, 시장은 이미 AI 안전 관리를 미래 산업으로 받아들였다. 문제는 기술 자체가 아니라 기술에 대한 우리의 태도다. 완벽한 예측, 완전한 통제라는 환상을 버려야 한다는 페로의 40년 전 조언이 지금도 울린다.
정상 사고는 사라지지 않는다. 다만 형태가 바뀔 뿐이다. AI 시대의 정상 사고는 어떤 모습일까. 알고리즘의 오작동일까, 데이터의 편향일까, 아니면 우리가 아직 상상하지 못한 무언가일까. 인텔리빅스가 약속하는 안전한 미래 뒤에는 여전히 페로의 질문이 숨어 있다. 복잡성은 정말 통제 가능한가.