[2025 동계 모각코] 1주차 - HOBBIT 논문 리뷰

 

 

 

1. 모임 시간

2025.12.26 14:00 ~ 17:00 (Zoom)

 

 

 

 

2. 진행 내용 

서울대학교에서 동계연구인턴을 진행하고 있다. 아마 대충 11월쯤부터 시작했고.. 1월 중순까지 진행할 예정..

연구 주제는 Edge Device에서 무거운 LLM 돌리기.

 

우선 관련 논문을 읽고 있다. 

 

 

 

 

 

HOBBIT 이라는 논문으로, VRAM 이 제한된 Edge Device에서 LLM을 돌리는 방법을 다룬다.

 

MoE 아키텍처를 기반으로 새로운 아키텍처를 제시함. 핵심은 자주 hit 되는 Expert만 VRAM에 올려두고, 나머지 Expert는 SSD나 RAM 같은 보조기억장치에 올려뒀다가 필요할 때 꺼내서 사용하는 방식.

 

학부에서 공부한 운영체제나 시스템프로그래밍 지식, 머신러닝과 딥러닝 기초 지식이 있으면 충분히 읽을 수 있는 논문이다.

처음에는 뭐라는지도 모르겠고 영어로 써있어서 해석도 힘들었음; 

 

영어공부도 할 겸 최대한 영어로 읽어보려고 했는데, 잘 안됨. 

수식을 보존하면서 번역해주는 pdfkor.com 사이트를 사용해서.. 논문을 한국어로 번역하고 영어와 교차하면서 읽고 있다.

 

읽는 중간중간 이해 안되는거 있으면 바로 ai한테 물어보는 식으로.. 

학부 공부도 그렇고 논문 리뷰도 그렇고 이해한 내용을 나만의 언어로 다시 표현하는식으로 공부하는게 나한테 잘 맞는듯.

 

지금까지는 개발쪽으로 많이 경험해봤는데, 논문 보는것도 나름 재밌다고 생각함.

 

백엔드 개발에서는 DB I/O 를 줄이기 위해 캐시 서버인 Redis를 도입하고, 프론트엔드 개발에서는 서버 요청을 줄이기 위해 api 캐싱을 도입한다.

둘 다 성능최적화를 목표로 한다는건데, 그런 측면에서는 연구와 개발이 유사한 부분이 많음. 

 

HOBBIT 논문에서도 메모리를 많이 사용해야 하는 LLM을 Edge Device에서 돌리기 위해 새로운 아키텍처를 고안하는거니까.. 

시스템을 최적화 한다는 점에서는 일맥상통한다고 생각.