[2025 동계 모각코] 2주차 - MoE 아키텍처와 Transformer

 

 

 

1. 모임 시간

2026.01.02 14:00 ~ 17:00 (Zoom)

 

 

 

2. 진행 내용 

논문 읽고 스터디하고 세미나 발표하는 생활을 계속하고 있다. 

덕분에 맥북의 Keynote에도 익숙해져서 요즘은 미리캔버스나 PowerPoint 안쓰고 Keynote로 발표자료 만들고있음.

키노트가 깔끔하고 좋더라..

 

서울살이도 회사다니면서 DBpia 개발할 때 한 3달정도 했었고. 

지금 와서 또 하고있으니 4달차가 됐음. 

 

GPT나 Gemini한테 AI 관련 무조건 읽어야 하는 논문 추천해달라고 하면 Attention is all you need를 추천해준다. 

지난학기 컴네에서도 언급된 논문인데. 그때는 관심없어서 안읽어봄.

 

그런데 HOBBIT이랑 MoE 논문 읽다 보니까 LLM 모델이 어떻게 구성되어있는지를 알아야 해당 아키텍처에 대해서 좀 더 깊게 이해할 수 있는 부분들이 있어서 리뷰하게 됐다.

 

개발도 그렇고 연구도 그렇고 Black Box 내부를 들여다보는게 필요하다고 생각함.

 

스프링을 쓸 때도 IoC, DI, AOP, Bean 관리 방법 등 이런 내부 동작 요소들을 모르고 그냥 사용할 수도 있긴 하다.

애너테이션을 사용할 때도 이게 어떤 원리로 이런 동작을 하는지 모르고 그냥 이 애너테이션 붙이면 이렇게 된다 정도만 알아도 CRUD 찍어내는데에는 문제가 없긴 하니까.. 

 

Cursor나 Kiro 등 AI IDE로 개발하는 시대에서는 저런 측면이 훨씬 심해지는듯.

나는 개인적으로 내부 동작 원리를 아는게 중요하다고 생각한다.

 

내부 동작 원리를 제대로 이해하고 있으면 다른 프레임워크, 다른 언어, 다른 라이브러리, 다른 아키텍처를 접하고 이해할 때도 훨씬 빠르게 이해할 수 있고, 에러가 터졌을 때 디버깅을 쉽게 할 수 있다.

 

디버깅도 어차피 AI한테 물어보면 해주는거아님? -> 그렇긴 한데. 아직까지는 한계가 있다고 생각함.

최근에도 팩업 스프링 개발할 때 Spring Data JPA 이상하게 써서 쿼리 성능 안나오던 문제를 고칠 때 AI는 계속 같은말 반복하면서 삽질했는데 MyBatis 붙여서 Native Query로 제어하니까 한 방에 해결됨. 인덱스 안타던거도 타게 할 수 있고.. 

 

이런 예시가 있다고 무조건 디버깅은 직접 해야 한다. 내부 동작 원리 무조건 알아야 한다. 이렇게 주장하는건 아니고.. 

앞으로는 어떻게 될 지 모르겠지만 최소한 지금은 내부 동작 원리를 아는게 큰 도움이 된다고 생각함. 

 

그런데 항상 선택과 집중은 중요하니까.. 누군가는 자신의 생산성을 끌어올리기 위해 얕은 풀스택을 지향할수도 있고.. 

누군가는 백엔드 전문가 or 프론트엔드 전문가로 자신의 전문성을 기르고 싶을 수도 있고.. 선택의 문제라고 생각함.

 

근데 나는 쉬는시간 노는시간 줄여서라고 둘 다 하고싶긴 하고 ㅎㅎ 

 

 

 

 

 

 

pdfkor 로 논문을 번역해서 교차하면서 보고 있다. 

무조건 읽어야 하는 논문으로 추천하는데에는 이유가 있는듯

 

일단 한 논문을 제대로 이해하기 위해 다른 분야에 대한 지식도 알아야 한다.
처음 웹개발을 공부할 때, 스프링을 공부했는데. 하다 보니까 프론트도 알아야 하고 디비도 알아야 하는 것처럼.. 

 

저 Attention is all you need 논문을 제대로 이해하기 위해서 여러 지식이 필요하다.

일단 과거 방식들에 대해 제대로 이해하고 있어야 함. LSTM 모델 RNN 모델 등..

 

또, VRAM / RAM 등 하드웨어 관련 지식도 필요하다.

파라미터를 모두 올릴 수 없으니까 어떻게 최적화 하는지도 알아야 하고. 

 

이런부분까지 제대로 공부하는 컴공은 유사공대가 될 수 없다..