• 목록

경북대학교 컴퓨터학부 컴퓨터 시스템 및 AI 연구실(CoSAIL) 한명균 교수 연구팀의 논문이 임베디드 시스템 분야 우수 국제학회인 LCTES 2026 (ACM SIGPLAN/SIGBED International Conference on Languages, Compilers, Tools and Theory for Embedded Systems, BK21 CS 우수 국제학술대회(IF=2))에 게재 승인되었다. 특히 이번 연구는 학부연구생 김은정 학생이 제1저자로 참여했다는 점에서 더욱 의미가 크다.

 

-     논문 제목: MemSpec: Memory-Aware Runtime for Adaptive Draft Scheduling in Speculative Decoding on Edge Devices

-     저자 정보: 김은정 (제1저자, 학부연구생), 전영준 (공동저자, 학부연구생), 한명균 (교신저자)

-     학회 홈페이지: https://pldi26.sigplan.org/home/LCTES-2026

 

최근 거대 언어 모델(LLM)의 응답 속도를 높이기 위한 기술로 추측 디코딩(speculative decoding)이 주목받고 있다. 이는 작은 언어 모델(draft model)이 먼저 여러 후보 답변을 빠르게 생성하고, 큰 언어 모델이 이를 검증하는 방식으로, 정확도 저하 없이 전체 생성 속도를 크게 향상시키는 기술이다.

하지만, 입력 내용에 따라 적합한 draft model이 달라질 수 있기 때문에, 상황에 맞게 서로 다른 모델을 동적으로 사용하는 적응형 추측 디코딩(adaptive speculative decoding) 기법이 중요해지고 있다. 문제는 스마트폰, 로봇, 임베디드 기기와 같은 메모리 제한 환경에서는 여러 모델을 동시에 관리하기 어렵고, 모델을 자주 교체할 경우 오히려 큰 실행 오버헤드가 발생한다는 점이다.

연구팀은 이러한 문제를 해결하기 위해, 입력 특성을 기반으로 적절한 draft model을 예측하고 메모리 상황을 고려하여 효율적으로 관리하는 적응형 런타임 시스템인 MemSpec을 제안하였다. 특히 필요한 모델을 미리 예측하여 관리함으로써 불필요한 모델 교체 비용을 줄이고, 제한된 메모리 환경에서도 높은 추론 성능을 제공한다.

연구팀은 NVIDIA Jetson Orin Nano 기반 임베디드 AI 플랫폼에서 다양한 실험을 수행하였으며, 제안한 기법이 기존 적응형 추측 디코딩 기법 대비 평균 40.7%의 추론 성능 향상을 달성함을 확인하였다.

한명균 교수는 “최근 온디바이스·임베디드 AI의 중요성이 빠르게 증가하면서, 제한된 자원 환경에서 AI를 효율적으로 실행하기 위한 시스템 소프트웨어 기술의 중요성도 더욱 커지고 있다”며, “앞으로도 AI 시스템의 성능과 효율성을 높일 수 있는 다양한 시스템 소프트웨어 연구를 지속적으로 수행할 계획”이라고 밝혔다.

 

<사진 왼쪽부터 김은정 학부연구생, 전영준 학부연구생, 한명균 교수>