[2025 동계 모각코] 4주차 - RAG와 LoRA

 

 

 

1. 모임 시간 

2026.01.16 14:00 ~ 17:00 (Zoom)

 

 

 

 

 

2. 진행 내용 

엣지 디바이스에서 LLM을 돌리는 연구를 진행하면서.. 돌아가는 LLM의 성능을 개선하기 위해 RAG와 LoRA 등 다양한 방법론을 함께 공부하고 있다. 

 

컴퓨팅 리소스가 제한된 환경에서 LLM을 돌려야 하니.. 고려할 부분이 상당히 많다. 

서버 통신 없이 처리해야 하니, 디바이스의 VRAM을 최대한 활용해야 함. 

 

 

 

 

RAG는 벡터디비에 내 데이터베이스를 구축해두고 LLM이 답변을 생성할 때 참고하도록 하는 기술. 

이 RAG를 기반으로 여러 응용이 있다. 

 

Self-RAG로 답변 과정을 스스로 검토해 답변의 근거를 생각해내고,

Graph-RAG로 정보 간의 관계를 인식할 수 없었던 기존 RAG의 한계를 극복한다.

 

운영체제 / 네트워크 / 컴퓨터구조 / 컴퓨터시스템 등 컴퓨터과학 전공지식이 어느정도 있으면 어떤 종류의 논문이든지 어느정도 읽을만 한듯..

오히려 학부 수준의 전공공부를 마쳤다면 공부할 때 논문을 꼭 봐야 한다고 생각함.

 

강의를 찾아 듣는 것 보다 논문을 통해 공부하고 스터디하는게 훨씬 나을듯..