모티프와 독자 AI의 시험대 · 4부 / 4부
성능에 몇 점을 줄 것인가…독자 AI 평가의 선택
정부가 독자 AI를 고르기 전에 정한 배점에서 성능 시험의 몫을 확인한다. 공개점수를 항목별 만점 대비 비율로 바꾼 뒤 배점 비중을 조정해 순위가 얼마나 달라지는지 비교한다. 당시 결과를 바꾸거나 공정성을 판정하는 실험은 아니다.
100점 가운데 몇 점을 성능 시험에 줄 것인가. 정부가 독자 AI를 고르기 전에 먼저 정한 선택입니다. 배점이 바뀌면 같은 성적표로도 순위가 달라질 수 있습니다. 국가가 지원할 AI를 가르는 기준은 무엇이어야 했을까요.
먼저 답해 보세요
정부가 지원할 AI를 고른다면, 100점 가운데 가장 큰 몫을 어디에 주겠습니까?
실제 값 바로 보기
정부는 성능 시험에 40점, 사람의 평가에 60점을 줬습니다. 아래 실험에서 성능 시험의 몫을 바꾸면 순위가 어떻게 움직이는지 볼 수 있습니다.
고른 답은 이 기기 화면에서만 쓰이고 어디에도 저장하지 않습니다.자료 | 과학기술정보통신부 2026년 8월 27일 평가방식 공개
배점은 목적의 표현입니다
실제 2차 평가에서는 벤치마크가 40점, 전문가가 35점, 사용자가 25점이었습니다. 이 배점에서 SK텔레콤·업스테이지·LG AI연구원이 모티프보다 높은 총점을 얻었습니다. 앞의 세 편에서 확인한 공표 결과입니다.
배점에는 무엇을 더 중요하게 볼지 정한 판단이 담깁니다. 정형화한 시험의 성능을 중시할 수도 있고 개발계획과 파급효과, 실제 사용자의 판단을 함께 반영할 수도 있습니다. 정책 목적을 먼저 설명해야 그에 맞는 평가였는지도 따져볼 수 있습니다.
정부는 독자 AI 프로젝트가 단순한 순위 경쟁이나 탈락 팀 선정만을 목적으로 하지 않고 국내 AI 생태계의 질적 성장과 확장을 지향한다고 설명했습니다. 실제 평가를 이 목적에 맞게 설계했는지 검증해야 합니다. 좋은 목적을 내세웠다는 사실만으로 모든 배점이 적절해지는 것은 아닙니다.
직접 해보는 기사 · 4/4
배점 설계 실험실
공개점수를 고정하고 가상의 벤치마크 비중만 바꿔 순위의 민감도를 봅니다.
아래 본문과 원자료 표로도 같은 내용을 확인할 수 있습니다. 조작 기능은 자바스크립트가 켜진 환경에서 작동합니다.
공개 점수로 해보는 가상 배점 실험
배점의 효과를 따로 보려면 획득점수와 평가단을 고정해야 합니다. 각 팀의 벤치마크 점수를 40점 만점 대비 비율로 바꾼 뒤 새 배점을 적용하는 방법입니다. 나머지 점수는 전문가·사용자 평가의 원래 상대 비중을 유지합니다. 이렇게 계산한 결과는 가상 비교이며 당시 심사 결과와는 다릅니다.
벤치마크 비중 40점에서는 SK텔레콤 70.6점, 업스테이지 69.9점, LG AI연구원 69점, 모티프 65.8점으로 공표 총점과 일치합니다. 벤치마크 비중을 높일수록 이 부문에서 앞선 모티프가 유리해집니다. 다만 그 변화는 무엇에 비중을 뒀는지에 따라 종합순위가 달라진다는 계산일 뿐, 평가위원의 점수가 틀렸다는 증거는 아닙니다.
반대로 전문가·사용자 평가의 비중이 커지면 그 항목에서 높은 점수를 받은 팀이 유리해집니다. 어떤 팀을 우승시키기 위해 배점을 역으로 고르는 일과 사업 목적에 맞는 배점을 사전에 정하는 일은 같지 않습니다.
가상 순위가 말해주지 않는 것
이 실험만으로 실제 배점이 잘못됐다고 결론 내릴 수는 없습니다. 점수를 어느 방식으로 정규화할지에도 가정이 들어갑니다. 다른 평가 설계를 미리 알았다면 개발팀의 전략이나 준비도 달라졌을 수 있습니다. 기존 성적을 고정한 채 비중만 바꾼 결과를 다른 사업의 실제 성적표라고 부를 수는 없죠.
또 벤치마크 점수가 높다고 어떤 이용 환경에서나 뛰어나다는 보장은 없습니다. 같은 이유로 사용자 평가 점수가 높다는 사실만으로 모든 기술적 한계를 설명할 수도 없습니다. 모델 성능, 활용 조건, 개발 역량, 정책적 기여를 어떤 자료로 확인할지 나눠 봐야 합니다.
실험으로 배점에 따라 순위가 얼마나 달라지는지 알 수 있습니다. 점수표를 단 하나의 객관적 서열처럼 보는 대신, 그 서열을 만든 평가 목적과 배점의 선택을 드러내는 것입니다. 숫자를 의심하지 말라는 말보다 숫자의 구성과 한계를 공개하는 편이 검증에 도움이 됩니다.
국내 AI에 남는 질문
모티프의 벤치마크 성과와 종합평가 탈락은 함께 기록할 수 있습니다. 하나를 인정하려고 다른 하나를 지울 필요는 없습니다. 평가 항목별로 왜 점수 차이가 났는지 납득할 만한 근거를 제시해야 합니다.
정책을 운영하는 쪽은 기준을 언제 어떻게 정했는지, 어떤 절차로 검증했는지, 이견이 생기면 무엇을 다시 확인할 수 있는지 보여줘야 합니다. 개발팀은 자신의 강점을 소개하되 선택한 시험의 결과를 모든 능력의 증거로 넓혀 말하지 않아야 하고요. 어느 쪽이든 공개 범위와 주장 범위가 맞아야 합니다.
국내 AI의 현실을 한 번의 순위로 모두 설명할 수는 없습니다. 다만 어떤 능력과 어떤 기여에 공적 지원을 배분할 것인지는 순위를 만들기 전에 정해야 합니다. 우리가 지원하려는 AI는 무엇을 잘해야 할까요.
연구자들은 무엇을 봤나
우지숙 서울대 교수와 김수지(서울대 행정대학원)는 「경제규제와 법」(2025)에서 소버린 AI 논의를 거버넌스의 틀로 따졌습니다. 여러 나라가 기술·데이터·인프라의 통제권을 쥐려 하면서 인터넷 거버넌스의 무게가 여러 이해당사자의 협의에서 국가 주도 규제로 옮겨가고 있다는 분석입니다.
문제는 집행입니다. 기술을 만들고 통제하는 주체가 대부분 민간 기업이어서 소버린 AI 정책도 결국 기업에 기대는 구조라고 연구진은 봤습니다. 정부가 성능에 몇 점을 줄지 정하는 일은 어느 기업에 얼마나 기댈지 정하는 일과 맞닿아 있습니다.
수치와 절차 다시 보기
| 팀 | AAII/25 | NIA/15 | 전문가/35 | AI사용자/15 | 국민/10 | 합계/100 |
|---|---|---|---|---|---|---|
| SK텔레콤 | 8.8 | 13.4 | 29.3 | 11.6 | 7.5 | 70.6 |
| 업스테이지 | 9.4 | 13.3 | 29.1 | 10.8 | 7.3 | 69.9 |
| LG AI연구원 | 7.8 | 12.8 | 29.5 | 11.3 | 7.6 | 69.0 |
| 모티프테크놀로지스 | 11.9 | 12.7 | 27.1 | 8.4 | 5.7 | 65.8 |
자료 직접 확인
법령·통계·목록 확인 기준일은 2026년 9월 20일입니다. 가상 실험은 화면에 별도로 표시했습니다. 공표점수와 가상 배점 실험을 나눠 적었습니다.
기획 개편과 정정 안내
기존 한 편짜리 기획을 4부작으로 재편했습니다. 실제 공표점수와 가상 실험을 구분했고 원문을 확보하지 못한 이의신청 기각의 시점과 사유는 단정하지 않았습니다.