같은 기반 모델을 가볍게 만들었다고 해도 실제로 줄인 대상은 서로 다릅니다. 한쪽은 모델을 저장하고 올리는 데 필요한 파일 용량을 줄였고, 다른 쪽은 답을 만드는 과정에서 쓰는 글자 단위인 토큰 사용량을 줄였습니다.

줄인 대상이 다르면 함께 제시된 조건도 다릅니다. Ternary Bonsai 2 27B는 크기와 함께 브라우저 실행 가능 여부가, Swift Qwen 3.8 27B는 토큰 사용량과 속도 배수가 제시됐습니다. 두 결과를 하나의 경량화 성과로 묶어 비교하기는 어렵고, 자사 환경에서 줄여야 하는 것이 저장·구동 조건인지 응답 생성량인지를 먼저 구분해 볼 필요가 있습니다.

모델을 고를 때 크기가 클수록 낫다는 기준이 모든 작업에 그대로 적용되지는 않습니다. 이번 두 모델은 다루는 작업 범위를 좁힌 상태에서, 그 작업을 겨냥한 평가에서 상위 점수를 받았습니다.

다만 두 점수는 서로 다른 평가에서 나온 값입니다. Cactus Needle 3는 모바일 명령어 수행이라는 좁은 과제에서 파라미터가 더 많은 모델보다 높은 점수가 제시됐고, WeVisDoc은 문서 인식 평가 안에서 비교 모델 중 1위로 제시됐습니다. 두 값을 나란히 놓고 어느 모델이 더 낫다고 말하기는 어렵습니다.

또한 Cactus Needle 3는 대화 기능을 빼는 조건에서 자동화 작업 점수를 얻었습니다. 특화 모델 도입을 검토할 때는 점수 자체보다 그 평가가 우리 업무와 같은 범위를 재고 있는지, 제외된 기능이 실제 업무에 필요한지를 함께 확인 항목에 둘 수 있습니다.

AI가 개발 업무에 얼마나 관여했는지를 보여주는 자료가 나왔지만, 공개된 값들은 서로 다른 것을 재고 있습니다. 하나는 연구 업무 중 AI가 주도한 비중이고, 다른 하나는 AI가 작성한 코드에서 확인된 속도 개선 폭입니다.

관여 비중이 높다는 것과 결과물의 성능이 좋다는 것은 같은 지표가 아닙니다. 26%는 업무 가운데 AI가 주도한 범위를, 약 4배는 특정 모델군에 적용했을 때 나온 속도 결과를 가리킵니다. GLM 사례는 인프라를 구축한 과정이 공개된 것이며, 성과 수치가 함께 제시된 것은 아닙니다.

세 자료 모두 개발사가 스스로 공개한 것이고, 외부 기관이 같은 조건에서 다시 확인한 결과는 아닙니다. 사내에서 AI 개발 도구의 효과를 검토할 때는 공개된 값이 관여량인지 결과 성능인지, 측정 주체와 적용 범위가 어디까지인지를 구분해 확인 항목에 둘 수 있습니다.

AI의 작동 결과를 정해진 문제 세트가 아니라 실제 생활 환경의 작업으로 보여준 자료가 함께 나왔습니다. 다만 같은 실제 환경이라도 결과가 제시된 형태는 서로 다릅니다.

한쪽은 60개 작업 중 56.7% 성공이라는 수치여서 성공하지 못한 비중까지 함께 읽을 수 있고, 다른 쪽은 제조사가 공개한 영상이어서 몇 번 시도해 얼마나 성공했는지는 공개된 범위에서 확인되지 않습니다. 실제 환경에서 작동했다는 설명을 볼 때는 시도 횟수와 성공 비율이 함께 제시됐는지, 결과를 공개한 주체가 누구인지를 구분해 볼 필요가 있습니다.