전체메뉴
미디어룸
오늘을 넘어 미래의 가치를 만드는 더존ICT그룹의 소식을 만나보세요.
같은 기기, 실행 설정 조정 전후로 달라진 로컬 AI 속도
넘쳐나는 전 세계 AI 이슈, 핵심만 골라 ‘ONE AI’가 브리핑해 드립니다
Nanbeige팀이 Apache 2.0 라이선스로 공개한 330억 파라미터 모델 Nanbeige4.3-33B는 팀 자체 평가에서 Terminal-Bench 2.1 80.9점으로 Qwen3.8-27B(73.0점)를 앞섰지만, SWE-Bench Pro에서는 60.3점으로 Qwen3.8-27B(61.7점)에 소폭 뒤처졌습니다①. 모델 카드에는 이 결과가 멀티턴 도구 사용에 권장되는 'preserve_thinking=true' 설정을 유지한 채 측정됐고, 일반 대화 상황에는 적용되지 않는 설정이라고 명시돼 있습니다. 외부 기관의 독립적인 재현 검증은 아직 이뤄지지 않았습니다②.
레딧 사용자들은 Artificial Analysis Index(AAI)에서 4위에 오른 Kimi 3.1 Pro를 OpenRouter로 직접 테스트한 결과, 실제 사용 경험이 MiMo 2.6이나 DeepSeek 4.1 Flash에 크게 못 미친다는 문제를 제기했습니다. 이 사례를 두고 AAI 점수가 특정 벤치마크에 과최적화될 수 있다는 지적도 함께 나왔습니다③.
공개된 벤치마크 점수나 순위는 모델의 전반적인 우열이라기보다, 특정 평가 항목과 설정에서 나온 결과로 읽는 편이 정확합니다.
Nanbeige4.3-33B는 같은 비교 대상을 두고도 평가 항목에 따라 앞서기도 하고 뒤처지기도 했으며, 그 수치는 도구 사용 상황에 맞춘 설정에서 개발팀이 직접 측정한 값입니다. Kimi 3.1 Pro 사례는 종합 순위와 사용자가 체감한 성능이 다르게 나타날 수 있다는 문제 제기로, 공식 검증이 아니라 사용자 경험에 근거한 주장이라는 점에서 근거의 성격도 다릅니다.
모델을 비교할 때는 점수와 함께 누가 측정했는지, 어떤 설정이 적용됐는지, 실제로 쓰려는 작업과 같은 유형의 평가인지를 확인 항목에 포함할 수 있습니다.
Strata/Basalt 추론 엔진으로 Qwen3.8-Flash-Next(약 125B급 MoE 모델)를 RTX 5080(16GB VRAM)에서 구동한 벤치마크에서는, IQ3_S 양자화와 int8 KV 캐시를 적용한 조건에서 최대 250 tok/s 생성 속도와 5,600 tok/s 프롬프트 처리 속도가 제시됐습니다①.
lean-qwenflash 프로젝트는 전문가 가중치를 NVMe SSD로 직접 오프로딩하는 방식으로, 16GB VRAM과 8GB RAM 환경에서 20 tok/s 수준의 디코딩을 구현했다고 소개했습니다②.
GPU 메모리가 16GB인 소비자용 환경에서 125B급 MoE 모델을 구동한 사례가 나왔지만, 그 방법은 하나가 아니었습니다. MoE(전문가 혼합)는 여러 전문가 하위 네트워크로 구성된 모델 구조를 말합니다.
한 사례는 모델 용량을 줄이는 양자화 설정과, 앞서 처리한 내용을 저장해 두는 KV 캐시를 int8로 저장하는 설정을 함께 썼고, 다른 사례는 전문가 가중치를 GPU 메모리가 아닌 SSD에 두는 오프로딩 방식을 택했습니다. 제시된 생성 속도는 250 tok/s와 20 tok/s로 차이가 컸지만, 추론 엔진과 메모리 구성 등 측정 조건이 서로 달라 두 수치를 같은 기준의 비교로 놓기는 어렵습니다.
RTX 4090 환경에서는 --adapt-async, --kv-resident 등 실행 플래그를 조정해 디코딩 속도가 97 tok/s에서 142 tok/s로 45% 높아진 결과가 공유됐습니다①.
24GB M5 MacBook Air에서는 캐시 인지 라우팅과 디스크 우선 오버랩 기법을 적용한 포크로, SSD 스트리밍 방식의 전문가 모델 속도가 28.8 tok/s에서 48.8 tok/s로 높아졌다고 소개됐습니다②.
RTX 3080 20GB 개조 모델에서는 ReBAR와 GPU 간 직접 통신(P2P)을 비공식적으로 언락한 뒤, vLLM 기반 텐서 병렬 처리 테스트에서 8192 토큰 기준 프리필 속도가 967 tok/s에서 2080 tok/s로 약 115% 증가했습니다. 65536 토큰에서는 첫 토큰이 나오기까지 걸리는 시간(TTFT)이 79초에서 41초로 줄었습니다③.
이번 사례들에서는 하드웨어를 바꾸지 않고 실행 설정이나 방식을 조정한 전후로 토큰 처리 속도 수치가 달라졌습니다.
다만 세 사례에서 높아진 지표는 각각 디코딩 속도, SSD 스트리밍 모델의 처리 속도, 긴 입력을 처음 읽어 들이는 단계인 프리필 속도로 서로 다릅니다. 모두 개별 사용자가 특정 환경에서 공유한 결과여서, 같은 조정이 다른 기기나 모델에서도 같은 폭의 변화로 나타난다고 보기는 어렵습니다.
기기별 성능 수치를 비교할 때는 하드웨어 사양 외에 어떤 엔진·실행 설정·드라이버 상태에서 측정됐는지, 그리고 어느 처리 단계의 속도인지를 구분해서 볼 필요가 있습니다.
Anthropic은 11월 12일부터 Claude에 대한 '지속적이고 불필요한 학대나 잔인한 행동'을 금지하는 이용 정책을 시행하며, 그 근거로 '모델 복지'를 명시했습니다. 이를 두고 한 사용자는 2023년 19명의 연구자가 작성한 논문을 인용해, 현재 기술로 의식의 지표를 충족하는 AI를 만드는 데 명백한 기술적 장벽은 없다는 점을 지적했습니다①.
회사가 모델의 의식 가능성을 완전히 배제하지 않으면서 월 20달러 구독 서비스로 판매하는 것이 윤리적으로 정당한지 묻는 의문도 제기됐습니다②.
이번 사례에서 정책에 대한 반응은 금지 행위의 범위보다 '모델 복지'라는 근거가 무엇을 전제하는지에 모였습니다.
한쪽은 AI가 의식의 지표를 갖출 수 있는지를 연구 문헌에 기대어 따졌고, 다른 쪽은 의식 가능성을 열어 둔 채 상품으로 판매하는 것이 윤리적으로 맞는지를 물었습니다. 같은 정책을 두고도 기술적 가능성과 상업적 운영의 정당성이라는 서로 다른 기준에서 질문이 나온 셈입니다.
CrowdGPT는 데이터센터나 거대 자본 없이 10억 파라미터 모델을 여러 개인 PC가 분산 협력해 학습하는 프로젝트로, 학습 데이터와 가중치를 모두 공개하는 방식을 택했습니다①.
6억 파라미터 음성 모델 Lure-TTS/Lure-Turbo는 실시간보다 4배 빠른 속도로 음성 복제와 태그 제어를 지원하며, 학습 비용은 200달러 미만이었다고 소개됐습니다②.
이번 사례들에서 모델 개발의 출발 조건은 대규모 데이터센터와 자본이 아니라 개인 PC 네트워크나 소액의 학습 비용이었습니다.
CrowdGPT는 학습 인프라 자체를 여러 참여자에게 나누는 방식이고, Lure-TTS/Lure-Turbo는 6억 파라미터 규모의 음성 모델을 소액으로 학습한 사례입니다. 속도와 학습 비용은 개발 측이 소개한 수치여서, 같은 결과가 다른 환경에서도 재현되는지는 공개된 자료만으로 판단하기 어렵습니다.
본 콘텐츠는 공개된 사실 및 정보를 바탕으로, 당사의 편집 기준에 따라 생성형 인공지능(AI)에 의해 생성되었습니다. 최종 내용은 원문 대조 및 검수를 거쳐 발행하며, 참고한 각 자료의 저작권은 해당 저작권자에게 있습니다.
5000