본문 바로가기

주메뉴 바로가기

전체메뉴

미디어룸

오늘을 넘어 미래의 가치를 만드는 더존ICT그룹의 소식을 만나보세요.

가중치 테이블을 SSD에 둔 초대형 모델의 개인 PC 구동

AI 트렌드2026.10.22
AI 트렌드

넘쳐나는 전 세계 AI 이슈, 핵심만 골라 ‘ONE AI’가 브리핑해 드립니다

01 / 06SSD 오프로드 · 1비트 양자화
GPU 메모리를 넘는 모델, 일부를 SSD에 두고 개인 PC에서 구동됐다
WHAT HAPPENED
•

커뮤니티 구동 사례에서 Qwen3.8-Flash-Next는 n-gram 가중치 테이블을 SSD로 내려두는 'Flash Next' 구조를 적용한 모델로 소개됐습니다. 1비트 양자화 버전(UD-IQ1_S, 67.6GB)을 32GB VRAM과 32GB RAM 조합에서 실행했을 때 초당 15~27토큰의 생성 속도가 측정됐습니다①.

•

다른 개발자는 약 2000유로 규모의 PC(RTX 3090 24GB, DDR4 128GB)에서 748B 파라미터 DeepSeek-V4.1-Flash를 1비트 양자화로 구동해 초당 7.2토큰을 기록했습니다. 110GB 규모의 Engram 테이블을 NVMe SSD에 두고 필요한 부분만 불러오는 방식이었습니다②.

WHAT IT MEANS

초대형 모델을 개인 PC에서 돌릴 수 있는지가 GPU 메모리 용량만으로 정해지지 않는 사례가 나왔습니다.

두 사례 모두 모델 용량을 줄이는 1비트 양자화와, 모델의 일부 테이블을 GPU 메모리 대신 SSD에 두고 필요할 때 불러오는 방식을 함께 썼습니다. 다만 처리 속도는 서로 다른 모델과 하드웨어에서 커뮤니티가 공유한 개별 실행 결과이므로, 두 숫자를 같은 기준의 성능 비교로 볼 수는 없습니다.

로컬 구동 사례를 비교할 때는 모델 규모와 함께 양자화 수준, SSD로 내린 데이터의 범위, 그 조건에서 나온 처리 속도를 하나의 조건 묶음으로 확인할 수 있습니다.

02 / 06AGI 전망 · 데미스 하사비스
AGI 도달 전망, 2~3년 이내와 연내로 짧게 제시됐다
WHAT HAPPENED
•

구글 딥마인드 CEO 데미스 하사비스는 올해 초 3~5년으로 제시했던 AGI 도달 전망을 2~3년으로 앞당긴 것으로 전해졌습니다①.

•

샘 올트먼은 TIME 인터뷰에서 올해 안에 AGI를 달성할 것이라고 언급했으며, 커뮤니티에서는 남은 기한이 10주 정도라는 점을 들어 실현 가능성에 의문을 제기했습니다②.

WHAT IT MEANS

AGI 도달 시점은 기술 발표가 아니라 기업 수장의 전망 발언으로 제시되고 있으며, 이번 자료에서는 그 기간이 2~3년과 연내로 서로 다르게 나왔습니다.

하사비스의 경우 본인의 이전 전망과 비교해 기간이 짧아진 변화가 확인되고, 올트먼의 경우 발언 이후 남은 시간을 근거로 커뮤니티가 실현 가능성을 따진 사례입니다. 전망 발언 자체와 그 발언을 둘러싼 반응은 서로 다른 성격의 정보로 구분해 볼 필요가 있습니다.

03 / 06AI 연구 에이전트 · AI 설계 바이러스
AI가 만든 분석·설계 결과물에 사람의 평가와 승인 절차가 따랐다
WHAT HAPPENED
•

OpenAI의 GPT-Rosalind 에이전트 수천 개가 수백만 개의 마우스 뇌세포 데이터를 32분 만에 분석했으며, 사람이 수행하면 수개월에서 1년 가까이 걸릴 것으로 추정되는 작업이라고 소개됐습니다. 이 분석에서 신경퇴행성 질환 관련 새 연구 단서가 나왔고, 인간 전문가 평가에서는 AI 분석 결과를 선호한 비율이 75%였습니다①.

•

Radical Numerics는 자사 Omnii-1 시스템으로 항생제 내성균 감염에 대응하는 바이러스를 설계했습니다. 이 바이러스는 실험실 테스트에서 환자의 박테리아를 제거한 뒤 동정적 사용 승인을 거쳐 인간 환자에게 처음 투여됐습니다②.

WHAT IT MEANS

이번 사례에서 AI는 연구 결과물을 직접 만들어냈지만, 그 결과가 받아들여지거나 실제로 쓰이기까지는 사람의 평가나 승인 절차가 함께 등장했습니다.

다만 두 절차의 성격은 다릅니다. 뇌세포 분석은 전문가가 결과물을 비교해 선호를 밝힌 평가이고, 바이러스 치료는 실험실 테스트 뒤 다른 치료 수단이 마땅치 않은 환자에게 승인 전 치료제를 예외적으로 쓰는 동정적 사용 절차를 거친 것입니다. 또한 32분이라는 속도는 실제 측정된 사람의 작업 시간이 아니라 추정 기간과 비교된 값입니다①.

AI를 활용한 연구 결과를 볼 때는 처리 속도와 별도로, 그 결과를 누가 어떤 방식으로 평가하거나 승인했는지를 판단 기준으로 둘 수 있습니다.

04 / 06추론 가속 · 프리필
추론 가속 수치가 프리필·오프로딩 등 처리 단계별로 따로 나왔다
WHAT HAPPENED
•

llama.cpp에서 모델에 작은 추가 학습 모듈을 붙이는 LoRA를 적용하면, 입력을 먼저 읽어 처리하는 프리필 단계 속도가 초당 약 1500토큰에서 300토큰으로 떨어지는 문제가 공유됐습니다. 새 커널 최적화로 프리필 속도가 최대 초당 1400토큰까지 회복됐다는 결과가 함께 제시됐습니다①.

•

논문 TokenGate는 프리필 단계를 최대 11.3배 가속했다고 보고했습니다②.

•

논문 Specter는 입력마다 일부 전문가 모듈만 쓰는 MoE 구조 모델을 오프로딩 방식으로 추론하는 조건에서 최대 1.88배 가속을 보고했습니다③.

WHAT IT MEANS

이번 자료의 추론 가속 수치는 모델 전체의 응답 속도가 아니라 프리필이나 오프로딩 추론처럼 특정 처리 단계와 조건을 대상으로 한 값입니다.

LoRA 사례는 추가 기능 적용으로 떨어진 속도를 되돌린 회복 수치이고, TokenGate와 Specter는 각자의 비교 기준 대비 '최대' 배수입니다. 같은 '빨라졌다'라도 어느 단계에서 무엇과 비교한 수치인지가 달라, 배수끼리 나란히 놓고 크기를 비교하기는 어렵습니다.

05 / 06휴머노이드 · 오픈소스 하드웨어
휴머노이드 발표가 내세운 기준, 가동 시간과 수리 가능성으로 갈렸다
WHAT HAPPENED
•

Unitree는 기존 H2보다 강하고 내구성을 높인 신형 휴머노이드 'H2-X Kung Fu Legend Guardian'을 공개했으며, 최대 약 8시간 지속 가동이 가능한 경비·보호 용도로 소개했습니다①.

•

Menlo Research는 에이전틱 로봇용 휴머노이드 'Asimov 1'을 발표했습니다. 이전에 Unitree G1으로 에이전트 제어 생태계를 만들려 했으나 부품이 독점적이고 수리가 제조사를 통해서만 가능해 실패했다고 밝혔습니다. Asimov 1은 범용 부품으로 누구나 조달·제작할 수 있게 했고, CAD 설계도와 SDK, 안전 레이어, 보행 정책과 학습 코드를 오픈소스로 공개했으며, 현재는 보행이 가능한 초기 단계입니다②.

WHAT IT MEANS

같은 휴머노이드라도 이번 두 발표가 앞세운 기준은 달랐습니다. 하나는 얼마나 오래, 튼튼하게 작동하는지를, 다른 하나는 부품을 누가 구하고 고칠 수 있는지를 내세웠습니다.

Menlo Research가 개방형 설계를 택한 근거로 든 것은 성능 수치가 아니라 기존 제품에서 겪은 독점 부품과 제조사 중심 수리 구조였습니다. Asimov 1이 아직 보행 가능한 초기 단계라는 점도 함께 밝혀져, 두 로봇은 같은 성숙도에서 비교되는 제품이 아닙니다②.

로봇을 비교할 때는 가동 시간·내구성 같은 성능 지표와 함께 부품 조달 방식, 수리를 누가 할 수 있는지, 제어 소프트웨어가 어디까지 공개되는지를 별도 항목으로 둘 수 있습니다.

06 / 06HBM · 메모리 가격
메모리 가격 부담이 AI용 HBM과 범용 RAM 양쪽에서 거론됐다
WHAT HAPPENED
•

삼성전자의 2027년 HBM(AI 가속기에 쓰이는 고대역폭 메모리) 생산 능력이 모두 판매됐다는 소식과 함께, 커뮤니티에서는 내년 HBM 가격이 최대 200%, DRAM 가격은 두 자릿수 상승할 것이라는 전망이 공유됐습니다①.

•

중국은 일상 전자기기 가격 급등을 막기 위해 RAM 생산량을 두 배로 늘리겠다는 계획을 발표한 것으로 전해졌습니다②.

WHAT IT MEANS

메모리 가격 문제가 AI 가속기용 HBM뿐 아니라 일상 전자기기에 들어가는 범용 RAM 차원에서도 언급됐습니다.

다만 이번 자료의 가격 상승률은 커뮤니티에서 공유된 전망이고, 생산 능력 완판과 증산 계획도 전해진 소식 수준이어서 확정된 시장 수치와는 구분해 볼 필요가 있습니다.

본 콘텐츠는 공개된 사실 및 정보를 바탕으로, 당사의 편집 기준에 따라 생성형 인공지능(AI)에 의해 생성되었습니다. 최종 내용은 원문 대조 및 검수를 거쳐 발행하며, 참고한 각 자료의 저작권은 해당 저작권자에게 있습니다.

ONE AI 세미나 신청
구매상담
1688
5000