Qwen3.8-27B 모델 출시 및 로컬 추론 최적화(DFlash2, 양자화, 벤치마크) 열풍

Qwen3.8-27B 모델을 둘러싸고 DFlash2 추측 디코딩, 양자화, 벤치마크 등 로컬 추론 최적화 시도가 커뮤니티에서 폭발적으로 이어지고 있습니다.

Qwen3.8-27B가 출시되면서 로컬 LLM 커뮤니티에서 다양한 추론 최적화 실험이 쏟아지고 있습니다. 핵심은 Inco가 발표한 블록 드래프터 DFlash2로, 5개 레이어로 한 번의 비순차 패스에서 7개 토큰을 예측하는 방식이 며, RTX 3090에서 기존 82tps였던 성능을 138tps까지, 64동시 요청 기준 942tps까지 끌어올린 사례가 공유됐습니다. 2×3090과 vLLM, DFlash2를 결합한 구성에서는 단일 요청 기준 218tok/s(디코드), 47.8% 드래프트 수용률을 기록했고, llama.cpp PR 기준 벤치마크에서는 베이스라인 47.4tok/s 대비 DFlash2가 평균 3배가까운 140.6tok/s를 보였습니다.

또한 Unsloth는 Dynamic v3.0 GGUF 양자화로 동일 크기에서 10% 이상정확도 개선을 주장했고, 1비트 양자화로도 77% 정확도를 유지한다고 밝혔습니다. 한편 SlopCodeBench 등 코딩 벤치마크에서는 Qwen3.8-27B가 DeepSeek V4 Flash나 Claude Code 대비 중하위권 성적(17.6%, 13.3% strict)을 기록해, 단독 코드베이스 관리보다는 보조 역할에 적합하다는 평가도 나왔습니다.

소비자용 GPU 한두 장으로 대형 모델을 실용적 속도로 돌릴 수 있는 추측 디코딩·양자화 기술이 빠르게 발전하고 있음을 보여줍니다. 성능과 실사용성 사이 간극에 대한 커뮤니티의 검증 문화도 함께 확인할 수 있습니다.

Ornith-1.5 오픈소스 모델 패밀리(9B/35B-A3B/397B) 출시 및 양자화

Ornith Lab이 9B, 35B-A3B, 397B로 구성된 오픈소스 LLM 패밀리 Ornith-1.5를 공개했고, 커뮤니티는 이를 빠르게 양자화해 성능을 검증했습니다.

Ornith Lab이 9B 밀집 모델(비전 포함), 35B-A3B MoE, 397B MoE로 구성된 Ornith-1.5 패밀리를 MIT 라이 선스로 공개했습니다. 이 모델들은 자체적으로 학습 과제를 생성하는 self-improving 루프 방식으로 훈련되었으며, Terminal-Bench 2.1에서 86.1점, SWE-Bench Verified 86점, HLE 44.6점 등을 기록해 유사 규모 오픈소스 모델 중 최고 수준이며 Claude Opus 4.8과 비교될 만한 성능을 보였다고 합니다. 커뮤니티는 9B 모델 (14종)과 35B-A3B 모델(13종)에 대해 자체 개발한 Atomic Dynamic(AD) 양자화를 적용해 llama.cpp 표준양자화와 비교했습니다. 9B의 경우 AD-Q8_0-Q6_K가 8.55GB 크기에 mean KLD 0.0035, top-1 97.46%를 기록해 기존 Q8_0(9.53GB, top-1 97.94%)에 근접한 효율을 보였고, 35B-A3B는 AD-Q6_K-Q5_K가 26.25GB로 Q6_K(28.51GB)보다 작으면서도 top-1 94.85%로 오히려 더 높은 정확도를 기록했습니다. 실사용 후기에서는 4GB VRAM 노트북에서도 9B 모델이 의료물리 연구용 스크립트 생성 과제 6개 중 5개를 원샷으로 해결해 Qwen 3.5 4B, Ling-3.0 Tiny 등을 앞섰다는 평가도 나왔습니다.

저사양 하드웨어에서도 실용적 성능을 내는 오픈소스 모델과, 크기를 줄이면서도 정확도를 유지·개선하는 양자화 기법이 동시에 주목받은 사례입니다. 397B 대형 모델까지 공개되면서 로컬 LLM 생태계의 성능 상한선도 함께 높아지고 있습니다.

Ling-3.0 tiny/flash 베이스 모델 체크포인트 오픈소스 공개

앤트그룹이 Ling-3.0-tiny와 Ling-3.0-flash의 베이스 모델 체크포인트 6종을 사전학습 단계부터 오픈소스로 공개했습니다.

이번에 공개된 체크포인트는 사전학습(pre-trained), 중간학습(mid-trained), WSM 병합 단계까지 총 6종으로, 모두 후처리(post-training)를 거치지 않은 순수 베이스 모델이라 연구자들이 연속 사전학습이나 파인튜닝의 출발점으로 자유롭게 활용할 수 있습니다. 핵심 기법은 WSM으로, 기존의 학습률(LR) 감쇠 방식을 가중 체크포인트 병합으로 대체해 연속 사전학습에 더 적합하게 만들고 다양한 LR 감쇠 전략을 오프라인으로 탐색할 수 있게 했습니다. Ling-3.0-tiny-base는 총 79억 파라미터 중 13억이 활성화되는 구조로, Ling-2.5-mini- base 대비 절반의 파라미터로도 대부분 벤치마크에서 동등하거나 우수한 성능을 보였고 특히 코딩 성능이 강력합니다. Ling-3.0-flash-base는 총 1240억 파라미터 중 51억이 활성화되며, 코딩·추론·롱컨텍스트 과제에서 2~3배 큰 모델과 비교해도 강한 성능을 나타냈습니다.

동일한 학습 레시피를 tiny 모델에서 검증한 뒤 flash 모델로 확장할 수 있어, 커뮤니티가 적은 자원으로 전략을 실험하고 대규모 모델에 재적용하는 효율적 연구 구조를 제공합니다. 코딩, 금융, 헬스케어 등 특화 도메인 적응연구에도 실질적인 기반이 될 것으로 기대됩니다.

GEN-1.5 원샷 러너 공개

Generalist AI가 로봇이 단 한 번의 시범만 보고도 새로운 작업을 학습하는 원샷 러너 GEN-1.5를 공개했습니다.

Generalist AI가 GEN-1.5라는 새로운 로봇 파운데이션 모델을 발표했습니다. 이 모델의 핵심은 원샷 러닝으로, 사람이 한 번 시범을 보여주면 로봇이 이를 즉시 학습해 유사한 작업을 수행할 수 있는 방식입니다. 기존 로봇 학습 방식이 수백에서 수천 번의 반복 시연 데이터를 필요로 했던 것과 달리, GEN-1.5는 단일 데모만으로도 새로운 태스크에 빠르게 적응하는 능력을 보여줬습니다. 공개된 유튜브 영상과 블로그 포스트를 통해 실제 로봇이 새로운 물체나 환경에서 즉석으로 작업을 수행하는 모습이 공유됐습니다.

로봇 학습에서 가장 큰 장벽은 방대한 시연 데이터 수집 비용인데, 원샷 러닝이 실현되면 이 비용과 시간을 획기적으로 줄일 수 있습니다. 이는 범용 로봇이 다양한 실제 환경에 빠르게 적응하는 시대를 앞당길 잠재력을 지니고 있습니다.

AI 스케일링 법칙과 모델 학습 효율성에 대한 논의(GRPO 실험, Z.ai 스케일링 이론, Intelligence per Watt)

동일한 GRPO 학습법을 세 개의 다른 크기 모델에 적용한 실험에서 모델 크기와 성능 변화 사이에 일관된 규칙이 나타나지 않아, AI 스케일링 법칙의 예측력에 대한 논의가 다시 주목받고 있습니다.

한 연구자가 353M, 316M, 672M 파라미터 규모의 세 모델을 처음부터 학습시킨 뒤 동일한 SFT와 GRPO 절차를 적용했습니다. 사전학습 손실은 예상대로 모델이 커질수록 개선됐지만(2.8659→2.7844→2.5885), GRPO 이후 성능은 예측 불가능하게 변했습니다. WikiText 퍼플렉시티 기준으로 가장 작은 모델(V1)은 SFT 대비 0.2%만 악화됐지만, 중간 크기 모델(V2)은 52% 악화됐고, 가장 큰 모델(V3)은 5% 악화에 그쳤습니다. 모델들은 훈련시킨 커리큘럼 자체는 학습했지만 GSM8K 같은 실제 벤치마크로는 전이되지 않았습니다. 한편 Z.ai는 별도 글에서 Kaplan의 초기 스케일링 법칙이 파라미터를 과도하게 키우는 방향으로 산업을 이끌었고, Chinchilla 이후에도 추론 비용을 고려한 과학습, MoE의 총 파라미터와 활성 파라미터 구분 등 최적 비율이 계속 바뀌어왔다고 분석했습니다.

스케일링 법칙이 파라미터 수만으로 성능을 예측하기 어렵다는 것을 실증적으로 보여주는 사례입니다. 데이터, 아키텍처, 학습 후처리 방식이 얽혀있어 모델 크기만 키우는 접근이 항상 유효하지 않을 수 있다는 점을 시사합니다.

Qwen 차세대 아키텍처(397B-A17B) 및 Deepseek V4 경쟁 전망

Reddit 커뮤니티에서 Qwen 팀이 Deepseek V4에 대응하기 위해 과거의 397B-A17B 아키텍처를 재활용할 가능성이 있다는 추측이 제기되었습니다.

한 Reddit 이용자가 Qwen 팀이 예전에 설계했던 397B-A17B 아키텍처를 다시 꺼내 Deepseek V4 0731 Flash와 경쟁할 것이라는 전망을 제시했습니다. 이 주장의 근거는 Deepseek V4가 출시 이후 계속 openrouter에서 최상위권을 유지하고 있으며, 크기, 비용, 성능 면에서 현재 개발자들이 원하는 균형점을 정확히 맞추고 있다는 점입니다. 작성자는 Qwen이 보유한 기존 235B-A22B 아키텍처는 상대적으로 오래되었고, A22B 구조의 특성상 Deepseek V4와 가격 경쟁을 하기에는 부족하다고 분석했습니다. 이런 이유로 397B- A17B 아키텍처가 더 합리적인 사업적 선택이 될 것이라는 추론입니다.

이는 아직 공식 발표가 아닌 커뮤니티 추측이지만, Deepseek V4가 오픈소스 LLM 시장에서 비용 대비 성능 기준을 새롭게 제시하고 있다는 점을 보여줍니다. Qwen을 비롯한 경쟁 모델들이 이 기준에 맞춰 아키텍처 전략을 조정할 가능성이 있다는 점에서 향후 오픈소스 모델 경쟁 구도를 예측하는 데 참고할 만한 논의입니다.

AI 성능 및 대중 인식 관련 논의(모델 대화 품질 저하, 특이점 담론, METR 시간 지평)

Reddit r/singularity에서 AI 모델의 대화 품질 저하, 컴퓨팅 집중 활용의 가능성, 특이점 도달 여부, METR 시간 지평 척도 등을 둘러싼 다양한 논의가 동시에 벌어지고 있습니다.

한 사용자는 2019년 GPT-2 시절부터 AI를 사용해왔는데, 최근 6개월간 출시된 모델들, 특히 Claude가 대화하기 불편해졌다고 토로했습니다. 자유로운 아이디어 토론을 원해도 모델이 사용자 의도를 자기 방식대로 재해석하고 원래 논점으로 계속 유도하는 패턴이 나타나며, 이를 Anthropic의 가드레일 강화와 연관 지어 비판했습니다.

한편 다른 게시글에서는 수많은 사용자 프롬프트에 분산되는 컴퓨팅 자원을 단일 과학 문제(예: 암 치료법 연구)에 집중 투입하면 획기적 성과가 가능할지에 대한 질문이 제기됐습니다. 이는 컴퓨팅 총량과 추론 시간, 실제 과학적 지능 사이의 관계에 대한 근본적 의문으로 이어졌습니다. 또한 Stripe가 "특이점이 시작됐다"고 언급한 것과 METR의 시간 지평(time horizon) 점수가 5월 이후 업데이트되지 않은 상황에서 최신 모델, 특히 Opus 5 가 약 20시간 수준일 것이라는 추측도 커뮤니티에서 공유됐습니다.

모델 성능이 수치상 발전해도 실제 사용자 경험에서는 대화 자연스러움이 오히려 퇴보할 수 있다는 우려는 안전성 강화와 사용성 사이의 트레이드오프를 보여줍니다. 동시에 컴퓨팅 집중과 능력 평가 척도에 대한 논의는 AI 발전 속도를 어떻게 측정하고 해석해야 하는지에 대한 대중적 관심을 반영합니다.

AI 하드웨어 및 로컬 인프라 혁신(RK3588 NPU 오픈컴파일러, V100 NVFP4 실행)

저가형 임베디드 NPU와 구형 데이터센터 GPU에서도 소프트웨어 최적화만으로 최신급 AI 성능을 구현하는 사례가 잇달아 등장했습니다.

한 개발자가 RK3588 칩에 내장된 NPU의 레지스터 포맷을 직접 리버스 엔지니어링해 벤더 SDK 없이 동작하는 오픈 컴파일러와 런타임을 공개했습니다. 이를 통해 PyTorch, ONNX, JAX에서 곧바로 GPT-2와 SigLIP 모델을 실행할 수 있으며, GPT-2는 초당 36토큰의 속도를 기록했습니다.

한편 다른 개발자는 2017년형 Tesla V100 GPU 4대를 묶어 블랙웰 아키텍처 전용으로 설계된 NVFP4 포맷의 Qwen 3.8 모델을 네이티브로 구동하는 데 성공했습니다. 자체 제작한 QPN 커널과 번역 계층을 통해 라운드당 5.89개 토큰을 처리하며, 최신 RTX 5090(NInfer 엔진 사용, 라운드당 4.27토큰)과 디코드 처리량에서 초당 219.1 대 214.7 토큰으로 대등한 성능을 보였습니다.

전용 하드웨어나 최신 세대 GPU가 없어도 소프트웨어 레벨의 최적화로 성능 격차를 상당 부분 좁힐 수 있음을 보여준 사례입니다. 이는 저렴한 구형 하드웨어의 재활용 가능성과 로컬·엣지 AI 인프라의 접근성을 크게 높이는 방향으로 이어질 수 있습니다.

AI 관련 정치/산업 동향 및 바이오 헬스케어 발전(GOP 경고, 모더나 암백신)

미국 공화당이 AI 기업들에 강경 경고를 보낸 가운데, 모더나와 머크가 개발한 개인맞춤형 암 백신이 흑색종 3상임상시험에서 첫 긍정적 결과를 발표하며 모더나 주가가 110% 이상 급등했습니다.

공화당이 AI 기업들을 향해 강도 높은 경고 메시지를 전달한 것으로 알려졌습니다. 구체적인 내용은 공개되지 않았지만, AI 산업에 대한 정치권의 규제 압박이 강화되고 있음을 시사하는 사건으로 주목받고 있습니다. 같은 날 바이오 헬스케어 분야에서는 모더나와 머크가 공동 개발한 개인맞춤형 암 백신이 대규모 후기 임상시험에서 흑색종 재발률을 유의미하게 낮추는 결과를 발표했습니다. 이는 개인맞춤형 mRNA 기반 암 백신이 3상 시험에서 처음으로 긍정적 결과를 얻은 사례로, 발표 직후 모더나 주가는 110% 이상 급등했습니다.

AI 규제를 둘러싼 정치적 압박과 mRNA 기술을 활용한 암 치료의 실질적 성과가 같은 시기에 부각되며, 첨단 기술 산업 전반에 대한 기대와 우려가 동시에 커지고 있습니다. 특히 모더나의 임상 결과는 코로나19 백신 이후 mRNA 플랫폼의 상업적, 의학적 가치를 다시 입증한 사례로 평가받고 있습니다.