오늘을 넘어 미래의 가치를 만드는 더존ICT그룹의 소식을 만나보세요.
대형 모델도 개인용 기기에서, 구동 조건은 모델마다 달랐다
넘쳐나는 전 세계 AI 이슈, 핵심만 골라 ‘ONE AI’가 브리핑해 드립니다
Meta는 816B 총 파라미터 중 42B만 활성화되는 구조의 오픈웨이트 모델 'Muse Spark Open'을 공개하면서, 두 대의 Apple M5 Ultra Mac Studio 환경에서도 최신 MLX 프레임워크로 최적화해 실행할 수 있다고 소개했습니다①②.
capy-flash 프로젝트는 Qwen3.8-Flash-Next(125B MoE)를 NVFP4 형식으로 양자화해, 16GB급 소비자용 GPU 2장에서 약 100 tok/s의 생성 속도를 냈다고 공유했습니다③.
삼진(ternary) 양자화 기반의 Bonsai 2(2B·4B·9B)는 M4 Max 환경에서 WebGPU 커널을 이용해 브라우저 안에서 최대 500 tok/s로 추론할 수 있다고 소개됐습니다④⑤.
모델의 규모를 나타내는 파라미터 수와, 실제로 어떤 기기 몇 대에서 돌릴 수 있는지는 별개의 정보로 제시됐습니다.
같은 '개인용 기기에서 구동'이라도 조건은 서로 달랐습니다. Muse Spark Open은 실제 계산에 쓰이는 활성 파라미터를 42B로 제한한 구조에 Mac Studio 두 대가 필요했고, Qwen3.8-Flash-Next는 모델 용량을 줄이는 양자화 설정(NVFP4)을 적용한 상태에서 GPU 2장을 썼으며, Bonsai 2는 별도 프로그램 없이 브라우저 안에서 실행됐습니다.
제시된 속도 수치도 측정 대상이 같지 않습니다. 약 100 tok/s는 GPU 2장에서의 생성 속도③, 최대 500 tok/s는 브라우저 안의 추론 속도로 소개됐습니다④⑤. 로컬 구동 사례를 비교할 때는 모델 크기, 양자화 형식, 기기 대수, 속도를 어떤 방식으로 쟀는지를 함께 비교할 필요가 있습니다.
Epoch.ai의 ECI(Epoch Capabilities Index) 벤치마크에서 Gemini 4 Argon은 165점으로 Fable 5.1과 같은 점수를 기록했으며, Opus 5.5(167점)·GPT-6 Astra(166점)와는 각각 2점·1점 차이였습니다. 이전 세대인 Gemini 3.8 Flash는 157점이었습니다①.
ARC-AGI 벤치마크에서는 Gemini 4 Argon이 GPT-6 Astra와 비슷한 점수를 기록하면서도 비용은 더 적게 든 것으로 제시됐습니다②.
최상위 모델 사이의 점수 차가 1~2점 수준이면 순위만으로 모델 간 차이를 설명하기 어렵습니다.
ARC-AGI 결과에서는 비슷한 점수에 서로 다른 비용이 함께 제시됐습니다②. 점수가 좁게 모여 있을 때는 같은 점수를 내는 데 드는 비용처럼 점수 밖의 항목이 모델을 구분하는 정보가 될 수 있습니다.
GPT-6.1 Sol로 약 800편의 수학 논문을 검토한 결과, 6%에서 중대한 오류가, 추가로 30%에서 경미한 실수가 발견됐습니다. 연구자들은 모델이 제기한 주요 발견의 90%가 실제로 정확하다고 추정했으며, 최신 논문에서는 중대 오류율이 1.5%로 나타났습니다①.
doubleAI는 약 2,000달러의 비용으로 그래프 이론의 오랜 미해결 문제인 '최장 경로(Longest Path) 문제'를 해결했다고 주장했으며, 이 결과가 양자 컴퓨터의 오류 수정과 연산 가속에 쓰일 수 있다고 설명했습니다②.
이번 사례에서 AI는 계산 보조가 아니라 논문의 오류를 찾고 미해결 문제에 답을 내는, 연구 결과물 자체를 다루는 작업에 쓰였습니다.
두 사례는 결과를 뒷받침하는 방식이 다릅니다. 논문 검토는 약 800편이라는 검토 규모와 오류 비율, 연구자들의 정확도 추정이 함께 제시됐고, 최장 경로 문제는 doubleAI가 해결했다고 주장한 결과와 비용이 제시됐습니다.
AI가 낸 연구 결과를 볼 때는 AI가 찾아내거나 주장한 내용과, 사람이 검토해 정확하다고 본 범위를 나눠서 볼 필요가 있습니다. GPT-6.1 Sol 사례에서도 6%·30%는 모델이 찾아낸 오류 비율이고, 90%는 연구자들이 주요 발견의 정확도를 추정한 값입니다①.
Dwarkesh Patel은 Tyler Cowen과의 대화에서 현재 AI 발전 속도가 2024년보다 25~50% 빠르다고 추정하고, 1~3년 안에 AI로만 구성된 팀이 인간 연구소를 능가하는 시점이 올 것이라고 예상했습니다①.
한 Anthropic 내부 직원은 공개할 수 없는 내부 정보를 근거로 AI가 9개월 안에 인간 AI 연구자 수준에 도달할 것이라고 언급했으며, Patel은 이러한 증거를 AI 연구소들이 공개해야 한다고 촉구했습니다②.
AI가 인간 연구자를 따라잡을 시점으로 나온 1~3년, 9개월은 측정된 결과가 아니라 전망이며, 그 근거는 한 사람의 추정과 공개되지 않은 내부 정보였습니다.
특히 9개월 전망은 근거 자체가 공개되지 않아, 발언을 접한 쪽에서는 그 내용을 검토할 방법이 없습니다②. 전망을 내놓은 Patel이 연구소에 증거 공개를 요구한 것도 이런 근거가 외부에 드러나 있지 않다는 점과 맞닿아 있으며, AI 발전 속도에 관한 발언은 전망과 측정 결과, 공개된 근거와 비공개 근거를 구분해서 볼 필요가 있습니다.
복수의 소식통을 인용한 보도에 따르면, Anthropic의 매출 성장률이 둔화되면서 투자자들이 예상 IPO 기업가치를 낮춰 잡고 있습니다①.
Anthropic이 컴퓨트 비용 1달러당 1.7달러의 매출을 올린다는 주장이 제기됐으나, 이 수치가 연구개발비·인건비 등 전체 운영비를 포함한 것인지는 명확하지 않아 흑자 전환으로 보기 어렵다는 반론도 나왔습니다②.
Anthropic의 사업성을 둘러싼 이번 논의에서 거론된 두 지표는 매출이 얼마나 빨리 느는지와 연산 비용 대비 매출이 얼마인지로, 서로 다른 질문에 답하는 숫자입니다.
컴퓨트 1달러당 1.7달러 매출은 분모에 어떤 비용이 포함됐는지가 명확하지 않아, 전체 비용을 반영한 수익성과 같은 의미로 읽기 어렵다는 반론이 함께 나왔습니다②. 성장률 둔화와 기업가치 하향 역시 소식통을 인용한 보도에 근거한 내용입니다①.
AI 기업의 수익성 관련 수치를 볼 때는 매출을 어떤 비용과 나눈 값인지, 즉 분모에 연산 비용만 들어갔는지 연구개발비·인건비까지 포함됐는지를 구분해서 볼 필요가 있습니다.
본 콘텐츠는 공개된 사실 및 정보를 바탕으로, 당사의 편집 기준에 따라 생성형 인공지능(AI)에 의해 생성되었습니다. 최종 내용은 원문 대조 및 검수를 거쳐 발행하며, 참고한 각 자료의 저작권은 해당 저작권자에게 있습니다.