모델 성능 수치에는 모델 자체의 능력뿐 아니라 누가, 어떤 실행 도구와 장비에서 측정했는지도 함께 반영될 수 있습니다.

첫 번째 사례는 같은 벤치마크라도 발표 주체가 직접 측정한 값과 제3자가 측정한 값 사이에 평균적인 차이가 있었다는 분석입니다. 두 번째 사례는 같은 모델을 실행 도구와 CPU 구조를 바꿔 돌렸을 때 정확도가 크게 달라진 개인 실험입니다. 특히 실행 도구의 구현 차이만으로도 결과가 깨질 수 있었고, 패치 후에는 정상화됐다는 점이 함께 공유됐습니다. 다만 이 실험은 특정 모델과 환경에서 나온 한 사례입니다.

성능 수치를 비교할 때는 몇 가지를 구분해 볼 수 있습니다. 개발사가 자체 측정한 값인지 제3자가 다시 측정한 값인지, 그리고 어떤 실행 도구와 장비에서 나온 값인지를 별도 확인 항목으로 둘 수 있습니다.

이번 사례들에서 신모델의 존재는 공식 발표보다 언론 보도, 개발 코드의 흔적, 이름을 감춘 모델 서비스를 통해 먼저 드러났습니다.

세 경로가 보여주는 확인 수준은 서로 다릅니다. 언론 보도는 준비 중이라는 전언이고, 깃허브 기록은 평가 설정에 모델 이름이 들어갔다는 흔적입니다. 스텔스 모델은 실제로 이용할 수 있었지만 정체는 제공사의 발표 이후에야 확인됐습니다. 이 중 제공사가 공식적으로 확인한 사례는 MiniMax뿐이며, Terra와 Gemini 4 Carbon, Anthropic 신모델의 출시 여부와 시점은 아직 발표 전 정보입니다.

출시 전 모델 정보를 접할 때는 그 정보가 보도인지, 코드상 흔적인지, 제공사의 공식 확인인지를 구분해 볼 수 있습니다.

AI가 전문 연구에 실제로 기여하고 있는지를 둘러싼 논의에서는, 같은 기준을 두고 결론이 갈렸다기보다 내세우는 근거의 종류 자체가 달랐습니다.

물리학자 사례는 특정 계산 작업의 소요 시간 비교와 오류 발견이라는 개인 경험입니다. 수학 증명 기사는 특정 성과와 학계 반응을 다룬 보도이고, 보처즈의 발언은 AI를 향한 반응을 해석한 전문가 의견입니다. 반박 글은 짧은 기간 안에 돌파구가 없었다는 점을 근거로 삼았습니다. 이처럼 측정 대상과 기간이 서로 달라, 한쪽 근거가 다른 쪽 주장을 직접 입증하거나 반박하는 구조는 아닙니다. 따라서 AI의 전문 업무 기여를 이해할 때는 그것이 특정 작업에서의 개인 사례인지, 학계가 검증한 결과인지, 의견인지를 나눠 볼 필요가 있습니다.

이번 두 사례에서는 로컬 장비의 AI 구동 성능이 모델뿐 아니라, 모델을 실제로 실행하는 소프트웨어인 추론 엔진의 설계에 따라서도 달라지는 모습이 확인됩니다.

다만 두 엔진이 겨냥한 지표는 서로 다릅니다. Agens는 한정된 GPU 메모리 안에 긴 컨텍스트를 담는 쪽을, Kapitsa는 같은 모델의 처리 속도를 높이는 쪽을 내세웠습니다. 따라서 두 수치를 하나의 성능 향상으로 묶어 비교하기는 어렵습니다. 또 Kapitsa의 속도 비교는 특정 모델과 장비에서 제시된 결과이므로, 장비 조건이 바뀌면 결과도 달라질 수 있는 사례로 볼 수 있습니다.