벤치마크 1위의 탈락…모티프는 어떤 시험을 치렀나

같은 순위표가 아니었습니다

과학기술정보통신부와 정보통신산업진흥원은 2026년 8월 18일 독자 AI 파운데이션 모델 프로젝트 2차 단계평가 결과를 발표했습니다. 업스테이지·SK텔레콤·LG AI연구원이 다음 단계로 진출했고 모티프테크놀로지스는 진출하지 못했습니다. 8월 27일에는 네 팀의 세부 평가점수를 공개했습니다.

공개표에서 모티프의 벤치마크 점수는 40점 만점에 24.6점입니다. 업스테이지 22.7점, SK텔레콤 22.2점, LG AI연구원 20.6점보다 높습니다. 그러나 전문가와 사용자 평가를 더한 100점 만점의 총점은 모티프가 65.8점으로 가장 낮습니다. 1위 SK텔레콤은 70.6점입니다.

두 결과 중 하나가 거짓인 것은 아닙니다. 벤치마크는 종합평가의 일부이기 때문입니다. 40점 범위의 순위와 100점 범위의 순위를 같은 의미로 읽으면, 왜 차이가 나는지 살필 출발점부터 놓치게 됩니다. 네 팀을 그대로 두고 평가 범위만 바꾸면 이 차이가 드러납니다.

벤치마크도 하나의 시험은 아닙니다

벤치마크 40점은 두 항목으로 나뉩니다. 외부 평가기관 Artificial Analysis의 지수인 AAII에 25점, 한국지능정보사회진흥원(NIA)의 평가에 15점을 배정했습니다. 정부 자료는 AAII에는 6월 말 공표한 기준을 채택했고 Artificial Analysis가 직접 평가했다고 설명합니다.

NIA 평가가 다루는 분야는 수학·지식·장문 이해·안전성·신뢰성·한국어·지시 이행의 일곱 가지입니다. 한 모델을 두고도 어떤 과제를 풀게 했는지에 따라 강점이 다르게 나타날 수 있습니다. 그래서 두 항목의 점수를 합친 벤치마크 순위와 한 항목의 순위도 구분해야 합니다.

모티프의 AAII 환산점수는 11.9점으로 네 팀 중 가장 높지만, NIA 점수는 12.7점입니다. SK텔레콤의 NIA 점수는 13.4점입니다. 모티프가 벤치마크 합계에서 앞섰다는 사실을 모든 세부 능력에서 앞섰다는 말로 바꿀 수 없는 이유입니다.

세계 순위와 사업 선정도 다른 질문입니다

외부 벤치마크의 세계 순위는 특정 조건에서 모델이 과제를 얼마나 잘 풀었는지 보여줍니다. 독자 AI 사업의 단계평가는 그 지표 외에도 개발 전략과 성과, 앞으로의 계획과 기여, 사용자 평가를 포함했습니다. 평가 대상이 모델의 시험 성적에만 머물지 않았다는 뜻입니다.

이 차이를 설명하는 일과 평가 기준에 동의하는 일은 별개입니다. 기술 개발을 지원하는 사업이라면 모델 성능에 더 많은 무게를 둬야 한다고 주장할 수 있습니다. 반대로 성능뿐 아니라 활용 가능성과 생태계 기여를 봐야 한다는 주장도 가능합니다. 어느 주장이 타당한지는 사업 목적과 실제 기준을 함께 놓고 판단해야 합니다.

정부 보도자료에 소개된 기업의 설명문도 구분해 읽어야 합니다. 팀이 작성한 모델 소개와 정부가 인용한 외부 측정값은 근거의 성격이 다릅니다. 기업의 ‘최고’라는 표현을 정부가 독립적으로 검증한 결론처럼 옮기거나, 특정 날짜의 외부 순위를 영구적인 성능 순위로 소개해서는 안 됩니다.

그렇다면 독자는 무엇을 먼저 확인하면 좋을까요. 순위 앞에 시험 이름과 날짜를 붙이고, 같은 모델·같은 조건·같은 모집단의 비교인지 살피는 겁니다. 종합 4위라는 결과만 보고 모티프의 성능 성과를 지울 이유도, 벤치마크 1위만 보고 다른 평가 항목을 없었던 일로 만들 이유도 없습니다.

순위가 갈린 곳을 찾아서

벤치마크 40점과 종합평가 100점은 같은 눈금이 아닙니다. 두 점수의 차이는 전문가 35점과 사용자 25점을 더한 결과죠. 전문가 평가는 모델의 정답률 외에도 개발 전략과 성과,기여계획을 살핍니다. 한쪽 순위가 다른 쪽보다 ‘진짜’라기보다 평가 대상부터 다릅니다.

모티프는 벤치마크에서 SK텔레콤을 2.4점 앞섰지만 총점에서는 4.8점 뒤졌습니다. 사이에 어떤 점수가 더해졌을까요. 2편에서는 다섯 항목을 하나씩 더하며 순위가 달라지는 지점을 확인하겠습니다.