전체메뉴
미디어룸
오늘을 넘어 미래의 가치를 만드는 더존ICT그룹의 소식을 만나보세요.
Muse Wonder, 벤치마크 상위권과 실사용 테스트 사이의 간극
넘쳐나는 전 세계 AI 이슈, 핵심만 골라 ‘ONE AI’가 브리핑해 드립니다
Meta는 신규 모델 Muse Wonder 1.0을 공개하며 주요 벤치마크에서 경쟁 모델을 앞섰다고 밝혔습니다①. 공개된 결과에서는 DeepSWE에서 Claude Opus 5.5와 GPT-6 Astra보다 높은 점수를 받았고②, SWE-Marathon에서는 57.5%로 Opus 5.5(46.3%)와 GPT-6 Astra(42.5%)를 앞선 것으로 공유됐습니다③.
AI 모델 평가 대시보드인 Artificial Analysis에서도 Fable 5.1보다 높은 점수를 기록한 것으로 공유됐습니다④.
반면 실사용 테스터 BridgeMind의 'BridgeBench 라바램프 테스트'에서는 Muse Wonder가 유리나 라바 액체 없이 빨간 원기둥만 그려낸 결과가 공유됐고, 커뮤니티에서는 특정 벤치마크에 과도하게 맞춘 '벤치맥싱' 모델이라는 비판이 제기됐으나 공식적으로 확인되지는 않았습니다⑤.
공개 벤치마크 순위가 높다는 사실과 실제 작업에서 요구한 결과물을 내는지는 같은 질문이 아닐 수 있습니다.
Muse Wonder는 소프트웨어 개발 과제를 다루는 SWE 계열 벤치마크와 종합 대시보드에서 높은 점수를 받았지만, 시각 결과물을 만드는 개별 테스트에서는 요구한 요소를 빠뜨린 사례가 공유됐습니다. 벤치마크는 정해진 과제 묶음에서의 결과이고 실사용 테스트는 특정 작업 하나에서의 결과라 측정 대상 자체가 다릅니다. 이번 사례에서 확인되는 것은 두 결과가 엇갈렸다는 점까지이며, 그 원인이 벤치마크 최적화인지는 공개된 자료만으로 판단하기 어렵습니다.
모델을 비교할 때 벤치마크 점수와 별도로, 실제로 맡길 작업과 같은 형태의 테스트 결과가 있는지를 판단 기준으로 둘 수 있습니다.
AMD R9700 32GB 환경에서 Qwen3.8-Flash-Next를 모델 용량을 줄이는 IQ3_S 양자화 설정으로 구동한 결과, 응답을 생성하는 디코드 속도가 90tk/s로 Qwen3.8-27B 대비 약 3배 수준이라는 측정 사례가 공유됐습니다①.
16GB VRAM 환경에서는 Qwen3.8-27B를 IQ4_XS 양자화로 구동하면서 한 번에 처리할 수 있는 입력량인 컨텍스트 길이 262k와 비전 기능을 함께 켠 상태로 80t/s를 기록한 사례가 소개됐습니다②.
RTX 3090 여섯 장 환경에서는 수정한 vLLM으로 Qwen3.8-Flash-Next를 구동해 7명 동시 사용 시 집계 206t/s, 단일 사용자 기준 디코드 57.6t/s와 입력을 처리하는 프리필 단계 6574t/s가 제시됐으며, 프리필 속도는 llama.cpp 대비 약 3배로 공유됐습니다③.
로컬 환경의 AI 모델 속도 수치는 모델 이름만이 아니라 어떤 하드웨어, 양자화 설정, 실행 엔진, 동시 사용자 수에서 나온 값인지와 함께 읽어야 합니다.
이번 사례들은 32GB GPU, 16GB VRAM, 3090 여섯 장으로 하드웨어가 모두 달랐고, 양자화 설정(IQ3_S, IQ4_XS)과 실행 엔진(수정 vLLM, llama.cpp)도 달랐습니다. 측정 항목 역시 디코드 속도, 프리필 속도, 여러 사용자의 집계 처리량으로 나뉘어 있어 숫자를 하나의 순위표처럼 나란히 놓기 어렵습니다. 모두 개인 사용자가 공유한 사례로, 실행 설정에 따라 결과가 달라질 수 있음을 보여주는 사례로 볼 수 있습니다.
Intel은 데이터센터용 GPU 'Crescent Island'를 D-시리즈로 명명했으며, 최대 480GB LPDDR5X 메모리를 지원하는 사양이 공개됐습니다①.
NVIDIA RTX 5080 24GB 모델이 2027년 1분기에 출시될 것으로 보도됐으나, 보드 파트너들도 아직 세부 사항을 받지 못한 상태로 전해졌습니다②.
로컬 LLM 커뮤니티에서는 128GB 통합 메모리를 탑재한 Surface Laptop Ultra 상위 모델이 품절됐다는 소식이 공유됐습니다③.
이번 하드웨어 소식들은 데이터센터용 GPU, 소비자용 그래픽카드, 노트북이라는 서로 다른 제품군에서 메모리 용량을 핵심 사양으로 내세웠다는 공통점이 있습니다.
다만 480GB는 데이터센터 GPU의 최대 지원 메모리, 24GB는 그래픽카드 메모리, 128GB는 통합 메모리로, 같은 GB 단위라도 메모리의 종류와 제품 위치가 다릅니다. 확인 수준도 Intel은 사양 공개, RTX 5080은 출시 시점 보도, Surface는 품절 소식 공유로 각기 다릅니다.
AI 모델 구동 장비를 비교할 때 메모리 용량 숫자와 함께 그 메모리가 어떤 종류인지, 정식 사양인지 보도 단계인지를 비교 항목에 포함할 수 있습니다.
DeepMind의 AlphaProof Nexus가 미해결 에르되시 문제 9개와 수열 추측 44개를 해결했으며, 이 중 두 문제는 50년 이상 답을 찾지 못한 난제였다고 보도됐습니다. 이 성과는 2026년 5월 arXiv 프리프린트로 먼저 공개됐고, 동료 심사를 거친 논문이 저널 Science에 게재됐습니다①.
또 다른 AI 시스템이 22개 과학 분야에 걸쳐 이미 존재하던 데이터 속에서 그동안 발견되지 않았던 해법을 찾아냈다는 소식이 전해졌습니다②.
이번 사례에서 AI의 성과는 기존에 풀리지 않았거나 발견되지 않았던 문제의 해법을 찾은 형태로 보고됐습니다.
AlphaProof Nexus의 성과는 프리프린트 공개 이후 동료 심사를 거쳐 Science에 게재된 반면, 22개 분야 사례는 해법을 찾았다는 소식이 전해진 수준으로 세부 검증 과정은 이번 자료에서 드러나지 않습니다. 같은 'AI가 문제를 풀었다'는 소식이라도 어떤 검증 절차를 거쳤는지에 따라 받아들일 수 있는 무게가 달라집니다.
한 커뮤니티 게시글은 포스트 스카시티(post-scarcity)를 자원의 무한함이 아니라 로봇과 AI의 재활용을 통한 제품·서비스의 무한 공급으로 재정의하며, 기본소득(UBI)과 UHI는 완전 자동화 전까지의 과도기적 장치라고 주장했습니다①.
다른 게시글은 AGI가 등장하면 인류의 90% 이상이 경제적으로 무용해지고, 늘어난 여가 시간이 오히려 사회적 불만과 갈등으로 이어질 수 있다고 주장했습니다②.
같은 '풍요의 시대' 논의라도 결론의 근거로 삼는 축이 서로 달랐습니다.
한쪽은 로봇과 AI를 통한 제품·서비스 공급 방식에 초점을 맞춰 풍요를 설명했고, 다른 쪽은 사람의 경제적 역할과 여가 증가에 대한 사회적 반응에 초점을 맞췄습니다. 즉 두 주장은 공급 측면과 사람·사회 측면이라는 서로 다른 질문에 답하고 있어, 어느 쪽이 맞는지보다 각 주장이 무엇을 근거로 삼는지를 나눠 읽을 때 논점이 분명해집니다.
Precision Numerics는 Qwen3-1.7B를 1비트로 양자화한 Boole-1.7B를 공개했습니다. 패킹 가중치 기준 247MB로 BF16 모델보다 13.9배 작으며, 10개 과업 평가에서 BF16 대비 평균 85.9%의 성능을 유지했다고 밝혔습니다①.
RoBERTa 기반 AI 텍스트 탐지 모델을 500MB에서 97MB로 압축해 브라우저에서 완전히 클라이언트 측으로 구동할 수 있게 만든 사례가 소개됐습니다②.
모델 압축 사례는 '얼마나 작아졌는가'와 '줄인 뒤 무엇을 유지했는가'를 나눠서 볼 때 비교가 가능합니다.
Boole-1.7B는 용량 감소와 함께 원본 대비 성능 유지율을 수치로 제시했고①, RoBERTa 탐지 모델 사례는 용량 감소와 브라우저 구동 가능성을 제시했습니다②. 이번 자료에서 RoBERTa 사례의 압축 후 탐지 정확도 변화는 드러나지 않아, 두 사례에서 판단할 수 있는 범위가 다릅니다.
경량 모델을 검토할 때 원본 대비 용량과 함께 원본 대비 성능 유지율, 그 성능을 어떤 과업으로 측정했는지를 확인 항목에 포함할 수 있습니다.
본 콘텐츠는 공개된 사실 및 정보를 바탕으로, 당사의 편집 기준에 따라 생성형 인공지능(AI)에 의해 생성되었습니다. 최종 내용은 원문 대조 및 검수를 거쳐 발행하며, 참고한 각 자료의 저작권은 해당 저작권자에게 있습니다.
- 이전글
이전글이 없습니다
- 다음글
AX INSIGHT HUB 2026-10 W2
2026.10.12
5000