모티프와 독자 AI의 시험대 · 4부 / 4부
성능에 몇 점을 줄 것인가…독자 AI 평가의 선택
실제 평가의 벤치마크 비중은 40점이었다. 공개점수를 항목별로 정규화한 뒤 비중만 바꾸는 가상 실험으로 순위의 민감도를 살핀다. 이 실험은 당시 결과를 바꾸거나 공정성을 판정하지 않으며, 지원사업의 목적과 배점의 관계를 묻는다.
네 팀의 시험 성적은 공개됐지만 어떤 시험이어야 했는지는 여전히 논의할 수 있습니다. 벤치마크를 더 중시해야 했을까요, 전문가와 사용자의 판단이 더 중요했을까요. 모티프의 결과를 둘러싼 논쟁은 한 팀의 순위를 넘어 국가가 어떤 AI를 지원할 것인지 묻는 질문으로 이어집니다.
배점은 목적의 표현입니다
실제2차 평가에서는 벤치마크가 40점, 전문가가 35점, 사용자가 25점이었습니다. 이 배점에서 SK텔레콤·업스테이지·LG AI연구원이 모티프보다 높은 총점을 얻었습니다. 앞의 세 편에서 확인한 공표 결과입니다.
배점은 기술적으로 중립적인 장식이 아닙니다. 무엇을 더 중요하게 볼지 정한 선택입니다. 정형화한 시험에서의 성능을 중시할 수도 있고 개발계획과 파급효과, 실제 사용자의 판단을 함께 반영할 수도 있습니다. 정책 목적을 먼저 설명해야 그에 맞는 평가였는지도 따져볼 수 있습니다.
정부는 독자 AI 프로젝트가 단순한 순위 경쟁이나 탈락 팀 선정만을 목적으로 하지 않고 국내 AI 생태계의 질적 성장과 확장을 지향한다고 설명했습니다. 이 설명이 실제 평가 설계와 어떻게 연결되는지가 검증할 대목입니다. 좋은 목적을 내세웠다는 사실만으로 모든 배점이 적절해지는 것은 아닙니다.
직접 해보는 기사 · 4/4
배점 설계 실험실
공개점수를 고정하고 가상의 벤치마크 비중만 바꿔 순위의 민감도를 봅니다.
아래 본문과 원자료 표로도 같은 내용을 확인할 수 있습니다. 조작 기능은 자바스크립트가 켜진 환경에서 작동합니다.
공개 점수로 해보는 가상 배점 실험
배점의 효과를 따로 보려면 획득점수와 평가단을 고정해야 합니다. 각 팀의 벤치마크 점수를 40점 만점 대비 비율로 바꾼 뒤 새 배점을 적용하는 방법입니다. 나머지 점수는 전문가·사용자 평가의 원래 상대 비중을 유지합니다. 이렇게 계산한 결과는 가상 비교이며 당시 심사 결과와는 다릅니다.
벤치마크 비중 40점에서는 SK텔레콤 70.6점,업스테이지 69.9점,LG AI연구원 69점,모티프 65.8점으로 공표 총점과 일치합니다. 벤치마크 비중을 높일수록 이 부문에서 앞선 모티프가 유리해집니다. 다만 그 변화는 평가위원의 점수가 틀렸다는 증거가 아니라,무엇에 비중을 뒀는지에 따라 종합순위가 달라진다는 계산입니다.
벤치마크 비중을 높일수록 이 항목에서 앞선 모티프의 상대적 위치가 좋아집니다. 반대로 전문가·사용자 평가의 비중이 커지면 그 항목에서 높은 점수를 받은 팀이 유리해집니다. 어떤 팀을 우승시키기 위해 배점을 역으로 고르는 일과 사업 목적에 맞는 배점을 사전에 정하는 일은 같지 않습니다.
가상 순위가 말해주지 않는 것
이 실험만으로 실제 배점이 잘못됐다고 결론 내릴 수는 없습니다. 점수를 어느 방식으로 정규화할지에도 가정이 들어가고, 다른 평가 설계를 미리 알았다면 개발팀의 전략이나 준비가 달라졌을 수 있습니다. 기존 성적을 고정한 채 비중만 바꾼 결과를 다른 사업의 실제 성적표라고 부를 수는 없죠.
또 벤치마크 점수가 높다는 사실은 모든 이용 환경에서의 우수성을 보장하지 않습니다. 같은 이유로 사용자 평가 점수가 높다는 사실만으로 모든 기술적 한계를 설명할 수도 없습니다. 모델 성능, 활용 조건, 개발 역량, 정책적 기여를 어떤 자료로 확인할지 나눠 봐야 합니다.
실험의 역할은 순위가 무엇에 민감한지 보여주는 데 있습니다. 점수표를 단 하나의 객관적 서열처럼 보는 대신, 그 서열을 만든 평가 목적과 배점의 선택을 드러내는 것입니다. 숫자를 의심하지 말라는 말보다 숫자의 구성과 한계를 공개하는 편이 검증에 도움이 됩니다.
국내 AI에 남는 질문
모티프의 벤치마크 성과와 종합평가 탈락은 함께 기록할 수 있습니다. 하나를 인정하려고 다른 하나를 지울 필요는 없습니다. 남은 과제는 공표된 결과를 반복하는 데 그치지 않고, 평가 항목별 차이를 납득할 만한 근거로 설명하는 일입니다.
정책을 운영하는 쪽은 기준을 언제 어떻게 정했는지, 어떤 절차로 검증했는지, 이견이 생기면 무엇을 다시 확인할 수 있는지 보여줘야 합니다. 개발팀은 자신의 강점을 소개하되 선택한 시험의 결과를 모든 능력의 증거로 넓혀 말하지 않아야 하고요. 어느 쪽이든 공개 범위와 주장 범위가 맞아야 합니다.
국내 AI의 현실을 한 번의 순위로 모두 설명할 수는 없습니다. 다만 어떤 능력과 어떤 기여에 공적 지원을 배분할 것인지는 순위를 만들기 전에 정해야 합니다. 다음 시험의 이름보다 먼저 확인할 것은 그 질문입니다. 우리가 지원하려는 AI는 무엇을 잘해야 할까요.
수치와 절차 다시 보기
| 팀 | AAII/25 | NIA/15 | 전문가/35 | AI사용자/15 | 국민/10 | 합계/100 |
|---|---|---|---|---|---|---|
| SK텔레콤 | 8.8 | 13.4 | 29.3 | 11.6 | 7.5 | 70.6 |
| 업스테이지 | 9.4 | 13.3 | 29.1 | 10.8 | 7.3 | 69.9 |
| LG AI연구원 | 7.8 | 12.8 | 29.5 | 11.3 | 7.6 | 69.0 |
| 모티프테크놀로지스 | 11.9 | 12.7 | 27.1 | 8.4 | 5.7 | 65.8 |
자료 직접 확인
법령·통계·목록 확인 기준:2026-09-20. 가상 실험은 화면에 별도로 표시했습니다. 공표점수와 가상실험, 보급기록과 실제 이용실적을 구분합니다.
기획 개편과 정정 안내
기존 한 편짜리 기획을4부작으로 재편했습니다. 실제공표점수와가상실험을구분하고,원문을확보하지못한이의신청기각의시점·사유는단정하지않았습니다.