Qwen3.8 시리즈(27B, Flash-Next, 35B-A3B 계열)가 잇따라 공개되면서 로컬 LLM 커뮤니티에서 구동 테스트와 벤치마크 열기가 확산되고 있습니다.

Qwen3.8 27B는 3090 한 대에서 Q4 양자화로 Three.js 코드를 정확히 생성할 정도의 코딩 실력을 보여주었고, RTX Pro 6000(96GB)에서는 BF16으로 26만 토큰 이상의 컨텍스트를 처리하며 프리필 속도 1715 tok/s, 생성 속도 45 tok/s를 기록해 법률 문서 OCR 등 고정밀 작업에서 Gemini Pro와 ChatGPT 수준을 넘어섰다는 평가도 나왔습니다. 실무 활용 테스트에서는 27B 모델이 부동산·금융 전문 시험 600문항에서 도구 없이 95.25%, 금융 계산기와 웹 검색 도구를 연결하자 98.05%까지 정답률이 올랐습니다.

한편 아직 공개되지 않은 35B-A3B 후속작을 기다리며 Ornith 1.5, Tiel-Coder 등 파생 모델들의 툴 호출 능력을 비교한 벤치마크도 등 장했는데, 두 모델이 Qwen3.6-27B를 크게 앞서고 3.8-27B에 근접한 성능을 보였습니다. 곧 출시될 Qwen3.8-Flash-Next는 약 125B-A6B 파라미터에 51B 규모의 n-gram 테이블을 결합한 구조로, 4비트 양자화 시 약 82GB 메모리로 구동 가능해 로컬 환경에서도 다룰 수 있을 것으로 추정되고 있습니다.

대형 클라우드 모델과 맞먹는 성능을 개인 하드웨어에서 구현할 수 있다는 실증 사례가 쌓이면서, 로컬 추론의 실용성이 한층 입증되고 있습니다. 특히 도구 연동으로 전문 분야 정확도를 높이거나 추론 가속 기법(적응형 스 페큘레이션)으로 최대 50%의 속도 향상을 이끌어낸 점은 로컬 LLM 생태계의 기술적 성숙도를 보여줍니다.

Apple이 M5 Max와 M5 Ultra를 탑재한 새 Mac Studio, 그리고 M5 Pro가 들어간 Mac mini를 공개하며 로컬 LLM 구동 하드웨어 시장에 신선한 자극을 주었습니다.

새 Mac Studio는 M5 Max와 M5 Ultra 칩을 선택할 수 있으며, 최대 512GB의 통합 메모리를 지원합니다. 특히 M5 Ultra는 메모리 대역폭이 1.2TB/s에 달해 이전 세대보다 대폭 향상된 데이터 처리 속도를 제공합니다. 이는 대형 언어모델을 로컬에서 구동할 때 가장 큰 병목인 메모리 대역폭 문제를 개선해, 더 큰 파라미터의 모델도 원활하게 추론할 수 있게 해줍니다. 함께 공개된 Mac mini는 M5 Pro 칩을 탑재해 소형 폼팩터에서도 준수한 로컬 추론 성능을 기대할 수 있습니다. 커뮤니티에서는 통합 메모리 용량과 대역폭 수치에 큰 관심을 보이며 실제 LLM 벤치마크 결과를 기다리는 반응이 이어지고 있습니다.

512GB 통합 메모리와 1.2TB/s 대역폭은 개인이 데이터센터급 GPU 없이도 초대형 모델을 로컬에서 돌릴 수있는 가능성을 열어줍니다. 이는 로컬 LLM 커뮤니티가 오랫동안 기다려온 하드웨어 업그레이드로, Apple 실리콘 기반 추론 생태계 확장에 중요한 이정표가 될 전망입니다.

OpenAI가 자체 개발한 추론 전용 칩 'Jalapeno'를 공개하며 엔비디아의 차세대 GPU 'Vera Rubin'을 벤치마크에서 앞선다고 주장했습니다.

OpenAI가 블로그를 통해 자체 설계한 추론 전용 반도체 'Jalapeno'의 첫 성능 결과를 공개했습니다. 이 칩은 모델 학습이 아닌 추론 작업에 특화되어 설계된 것으로 알려졌으며, OpenAI는 자체 벤치마크에서 아직 출시되지 않은 엔비디아의 차세대 GPU 'Vera Rubin'보다 우수한 성능을 보였다고 주장했습니다. 이는 OpenAI가 엔비디아 등 외부 하드웨어 공급업체에 대한 의존도를 낮추고 자체 칩 생태계를 구축하려는 움직임으로 해석됩니다. 다만 구체적인 벤치마크 수치와 측정 방식, 제3자 검증 여부는 아직 명확히 공개되지 않은 상태입니다.

거대 AI 기업이 자체 반도체를 통해 추론 비용과 인프라 의존성을 직접 통제하려는 흐름을 보여주는 사례입니다. 엔비디아 중심의 AI 하드웨어 시장 구조에 균열을 낼 수 있는 신호로 평가되며, 향후 AI 서비스 운영 비용 구조에도 영향을 줄 수 있습니다.

OpenAI가 차세대 모델 GPT-6 Astra를 공개하며 코딩, 추론, 실무 작업 전반에서 압도적인 벤치마크 성적을 기록했습니다.

OpenAI가 새로운 플래그십 모델 GPT-6 Astra를 발표했습니다. 이번 모델은 실제 소프트웨어 엔지니어링 문제해결 능력을 평가하는 DeepSWE 벤치마크에서 98.4%라는 매우 높은 점수를 기록했습니다. 또한 복잡한 추론과 추상적 패턴 인식을 요구하는 ARC-AGI-3 테스트에서는 31%의 성과를 보였습니다. 이와 함께 터미널 환경에서의 명령어 수행과 작업 처리 능력을 측정하는 TerminalBench에서는 96%의 성공률을 달성했습니다. 이 세 가지 지표는 각각 코딩 실무력, 범용 추론 능력, 실제 시스템 조작 능력을 나타내는 것으로, GPT-6 Astra가 여러 영역에서 동시에 높은 성능을 보였다는 점이 특징입니다.

DeepSWE와 TerminalBench에서의 고득점은 실제 개발 및 운영 업무에 AI를 투입할 수 있는 수준에 근접했음을 시사합니다. 특히 ARC-AGI-3 점수는 아직 개선 여지가 크지만, 범용 인공지능 논의에서 중요한 참고 지표로 계속 주목받을 전망입니다.

NVIDIA·Groq·Cerebras 등이 토큰 처리 속도를 앞세운 추론 인프라 경쟁에 나서면서, AI 하드웨어의 승부처가 학습에서 추론으로 옮겨가고 있습니다.

레딧 사용자가 NVIDIA와 Groq 소식을 계기로 여러 LLM 제공사의 실제 토큰 처리 속도를 비교했습니다. Artificial Analysis 기준으로 NVIDIA Groq 3 LPX는 Gemma 4 31B 모델에서 3,400 tok/s를 기록했고, Cerebras는 GPT-OSS 120B 모델에서 공식 발표 3,000 tok/s, 실측 1,715 tok/s를 보였습니다. Groq는 Llama 3.1 8B에서 1,800 tok/s, GPT-OSS 120B에서는 500 tok/s를 기록했으며, SambaNova는 Llama 3.3 70B에서 476 tok/s에 머물렀습니다. 같은 날 NVIDIA는 Perplexity AI와 협력해 자사 로컬 AI 워크스테이 션인 DGX Spark에서 Perplexity를 구동하는 파트너십도 발표했습니다.

AI 에이전트가 실제 업무에 투입되려면 응답 속도와 추론 비용이 모델 성능만큼 중요해집니다. 학습용 GPU 경쟁에 이어 서비스용 추론 전용 칩 경쟁이 다음 격전지로 떠오르고 있다는 점을 보여줍니다.

Figure AI가 1,600만 개 영상으로 구성된 사상 최대 규모의 로봇 데이터셋 'Index'를 공개했으며, 동시에 휴머노이드 로봇 시장에 새로운 경쟁자가 등장했습니다.

Figure AI는 'Index'라는 이름의 로봇 학습용 데이터셋을 공개했습니다. 이 데이터셋은 1,600만 개의 영상으로 구성되어 있으며, 현재까지 공개된 로봇 데이터셋 중 가장 크고 다양한 규모라고 알려졌습니다. 특히 주목할 점은 일반인이 자신의 일상 작업을 영상으로 녹화해 제출하면 보상을 받을 수 있는 구조라는 것입니다. 이를 통해실험실 환경이 아닌 실제 생활 속 다양한 작업 데이터를 대규모로 확보할 수 있게 되었습니다. 같은 시기에 Figure, PI, Tesla, Sunday 등 기존 휴머노이드 로봇 개발사들과 경쟁할 새로운 업체도 등장해 시장 진입을 알렸습니다.

로봇 파운데이션 모델 학습에는 다양하고 방대한 실제 환경 데이터가 필수적인데, 크라우드소싱 방식으로 이를 해결하려는 시도가 본격화되었습니다. 동시에 경쟁자 증가는 휴머노이드 로봇 시장이 빠르게 확대되고 있음을 보여줍니다.

저사양 하드웨어로 초대형 MoE 모델을 돌려보려는 개인 개발자들의 실험이 이어지며, 전문가 스트리밍·전력 관리 버그 우회 등 다양한 로컬 LLM 구동 노하우가 공유되고 있습니다.

r/LocalLLaMA에서 저렴한 하드웨어로 로컬 LLM을 돌리려는 시도들이 잇따라 공유됐습니다. 한 이용자는 RTX 5090 2대와 5080 2대, RAM 512GB 환경에서 동작하는 오픈소스 엔진 'LayerStoRm'을 공개했는데, PCIe로 전문가(expert) 가중치를 스트리밍하며 토큰별 최적 전송 경로를 실시간 계산하는 방식으로 GLM 5.2 모델에서 초당 10토큰을 달성했습니다. 이는 기존 llama-bench 대비 약 7배 빠른 속도입니다. 또 다른 개발자는 RTX 4070 Ti와 32GB RAM만으로 2.7조 파라미터급 Kimi K3, DeepSeek V4 등을 실행하는 'CRANE V2' 연구를 진행했으며, 속도를 극단적으로 높이면 초당 9토큰까지 나오지만 품질이 완전히 붕괴되는 트레이드오프를 확인했습니다. 한편 AMD 7900 XTX eGPU 사용자는 헤드리스 리눅스에서 GPU 절전 모드 진입 시 모델 가 중치가 RAM으로 강제 이동되며 메모리 부족 크래시가 발생하는 문제를 'amdgpu.runpm=0' 설정으로 해결한 사례를 공유했습니다.

초거대 MoE 모델을 고가 장비 없이도 실행하려는 커뮤니티의 실험이 활발해지면서, 전문가 스트리밍과 캐싱 같은 저비용 추론 기법이 빠르게 발전하고 있습니다. 이는 로컬 AI 접근성을 낮추는 동시에, 속도와 품질 사이의 실질적 한계도 함께 드러내고 있습니다.

Anthropic의 최고급 AI 모델이 저가 도구들에 밀려 사용자 확보에 어려움을 겪는 가운데, 스탠퍼드 연구는 AI 가 신입 일자리를 가장 크게 위협하고 있다고 밝혔습니다.

Anthropic이 내놓은 최고 성능의 AI 모델이 시장에서 예상만큼의 사용자 확보에 성공하지 못하고 있다는 분석이 나왔습니다. 성능은 뛰어나지만 가격이 높아, 더 저렴하면서도 실용적인 수준의 성능을 제공하는 경쟁 도구들에 사용자들이 몰리고 있다는 것입니다. 이는 AI 모델 시장에서 최고 성능만으로는 시장 점유율을 보장받기 어렵다는 점을 보여주는 사례로 언급되고 있습니다. 한편 스탠퍼드 대학의 연구에 따르면, AI 도입으로 인한 고용 충격은 신입 및 초년차 직군에서 가장 두드러지게 나타나고 있습니다. 경력이 적은 근로자들이 수행하던 반복적이고 정형화된 업무가 AI로 대체되는 속도가 빠르게 진행되면서, 청년층의 취업 시장 진입 자체가 어려워지고 있다는 분석입니다.

AI 모델 경쟁이 성능 우위만으로 결정되지 않고 가격 대비 효율이 핵심 변수로 떠오르고 있음을 시사합니다. 동 시에 AI로 인한 노동시장 변화가 특정 세대, 특히 사회 진입 초기 단계의 청년층에 집중되고 있어 정책적 대응이 필요한 사회적 문제로 부각되고 있습니다.