분류 전체보기
[GCP] AWS RDS to GCP Cloud SQL 과 SSL 설정
[GCP] AWS RDS to GCP Cloud SQL 과 SSL 설정
2026.01.12PACK-UP ver 2.0을 진행하면서 AWS RDS 쓰던거를 GCP Cloud SQL으로 전환했다. GCP 쪽에 크레딧 받은게 좀 있기도 하고.. GCP를 쓰면 Google OAuth2 관련 설정도 함께 관리할 수 있으니까.. 웹 콘솔에서는 잘 뜨는데. DBeaver나 DataGrip같은 DB Tool로 Cloud SQL에 붙으려니까 접속이 안됨; 터미널에서는 잘 붙는데 DBeaver로 붙으려니까 죽어도 안붙네 하;; 일단 저 MySQL 도 문제임. 비번 틀리게 쳐도 저 using password:YES 이거 뜨고, 제대로 쳐도 using password:YES 뜨고.. 비번이 틀렸으면 비번이 틀렸다고 안내해주면 안되나?비번이 틀려도, SSL이 안 맞아도, 인증이 깨져도 다 Access De..
[Fault Injection] A Micro Architectural Events Aware Real-Time Embedded System Fault Injector
[Fault Injection] A Micro Architectural Events Aware Real-Time Embedded System Fault Injector
2026.01.11임베디드 시스템의 성능을 끌어올리기 위해 멀티코어 CPU와 복잡한 캐시 계층 구조를 사용하는데.. 시스템이 복잡해질수록 Soft Error에 취약해진다. 시스템의 신뢰성을 테스트하려면 의도적으로 Fault를 넣어 봐야 하는데, 하드웨어 방식은 제어하기 어렵고 소프트웨어 방식은 제어하기 쉽지만 실행 시간이 너무 오래 걸린다. 그러니 새로운 Debug Unit을 제안함. 낮은 오버헤드로 원하는 시점에 Fault를 넣어 볼 수 있는 환경을 제공한다. 최신 CPU의 PMU는 clock cycle, memory operation, cache hit/miss, branch statistics를 실시간으로 추적하고 이런 데이터는 HPC에 기록된다. 그러니 결함이 발생했을 때 발생하는 하드웨어 이벤트 패턴을 수집해..
[Fault Injection] SoK: Analysis of Fault Injection Attacks
[Fault Injection] SoK: Analysis of Fault Injection Attacks
2026.01.08Fault Injection은 시스템이 예상하지 못한 에러 상황에서 어떻게 동작하는지 확인하기 위해 의도적으로 에러를 넣는 작업을 의미한다.이게 뭐임? 싶은데 정말 간단한 예시를 들자면.. 오락실 딱딱이를 생각하면 됨.. 보통 딱딱이에서 발생하는 강한 신호로 동전 인식기 전선에 전류를 보내 CPU가 동전 넣을 때랑 같은 전기 신호가 들어왔다고 착각하게 만들어 coin++를 실행하는 방식을 사용하지만 다른 방식으로 사용할 수도 있음. coin--;if (coin == 0) { game_over();} 오락실 기계에 저런 코드가 있다고 치자. CPU가 if (coin == 0) 조건을 확인하기 위해 레지스터 값을 비교하고 분기 태울 때 딱딱이 on 이러면 전자기 신호로 비트가 튀어서 0이어야 할..
[2025 동계 모각코] 2주차 - MoE 아키텍처와 Transformer
[2025 동계 모각코] 2주차 - MoE 아키텍처와 Transformer
2026.01.021. 모임 시간2026.01.02 14:00 ~ 17:00 (Zoom) 2. 진행 내용 논문 읽고 스터디하고 세미나 발표하는 생활을 계속하고 있다. 덕분에 맥북의 Keynote에도 익숙해져서 요즘은 미리캔버스나 PowerPoint 안쓰고 Keynote로 발표자료 만들고있음.키노트가 깔끔하고 좋더라.. 서울살이도 회사다니면서 DBpia 개발할 때 한 3달정도 했었고. 지금 와서 또 하고있으니 4달차가 됐음. GPT나 Gemini한테 AI 관련 무조건 읽어야 하는 논문 추천해달라고 하면 Attention is all you need를 추천해준다. 지난학기 컴네에서도 언급된 논문인데. 그때는 관심없어서 안읽어봄. 그런데 HOBBIT이랑 MoE 논문 읽다 보니까 LLM 모델이 어떻게 구성되어있는지를 알아야..
[Transformer] Attention is all you need
[Transformer] Attention is all you need
2026.01.02Attention은 정보를 처리할 때 어디에 집중할지 결정하는 수학적 원리이고, Transformer는 Attention을 기반으로 만든 모델이라고 생각하면 됨. 즉, Attention은 모델 자체의 설계와 학습 방법에 관한 내용이지, 모델 배포에 대한 내용이 아니다. Recurrent Neural Networks, Long Short Term Memory, Gated Recurrent Neural Network 모델은 문장을 읽을 때 순차적으로 처리함. 즉, 첫 번째 단어를 처리해야 두 번째 단어를 처리할 수 있는 것 처럼 의존성이 있다는 것..문장이 길어질수록 계산 오버헤드가 너무 크고 병렬 처리가 힘들다. 그러니 복잡한 RNN, CNN을 다 치우고 Attention만 사용해서 모델을 만드는 방..
PACK-UP v2.0 온보딩 - 세미나 발표
PACK-UP v2.0 온보딩 - 세미나 발표
2026.01.02소스코드 관리는 Git Flow 전략을 사용합니다.main 브랜치에서 어느 정도 초기 기본 세팅이 완료되면 main 브랜치를 기반으로 dev 브랜치를 만들 예정입니다. 일감은 Notion 및 Jira로 관리됩니다.자신이 맡은 일감 번호에 맞춰서, dev 브랜치로부터 feature/n 브랜치를 생성합니다. feature/n 브랜치에서 작업이 완료했다면 feature/n 브랜치에서 dev 브랜치로 병합하는 PR을 요청합니다.즉, dev 브랜치에는 PR 작업 단위 (일감 단위) 로 이력이 쌓이게 됩니다. main 브랜치에는 정기적으로 병합해 시스템이 버그 없이 작동하는지 확인합니다. 먼저 원격 저장소를 로컬 저장소로 fork 뜹시다. 필요할 때 마다 Sync Fork 로 Update Branch를 실행..
HOBBIT을 사용한 최적화 - 세미나 발표
HOBBIT을 사용한 최적화 - 세미나 발표
2025.12.31우선 큰 타이틀이 Embedded + AI 니까.. 논문을 작성하기 좋은 방향으로 주제를 설정하는 편이 좋아보입니다.TinyML으로도 충분히 좋은 주제를 설정할 수 있지만, 최신 트렌드인 llm을 엮으면 좀 더 좋은 주제가 나오지 않을까 싶네요. 프로젝트를 수행하고 그걸 바탕으로 논문을 작성해야 하니, 흥미를 가지고 진행할 수 있는 주제로 설정하면 더 좋겠습니다.어떤 주제를 설정할 지는 잘 모르겠지만.. 엣지 디바이스에서 llm을 돌릴 수 있다면 선택할 수 있는 주제도 많아집니다. 요즘 가장 트렌디한 주제는 LLM입니다. Embedded + AI 에서는 Physical AI가 가장 먼저 떠오르네요. 제가 생각한 주제는 "RAM, VRAM 등 컴퓨팅 리소스가 한정된 Edge Device에서 LLM..
[2025 동계 모각코] 1주차 - HOBBIT 논문 리뷰
[2025 동계 모각코] 1주차 - HOBBIT 논문 리뷰
2025.12.281. 모임 시간2025.12.26 14:00 ~ 17:00 (Zoom) 2. 진행 내용 서울대학교에서 동계연구인턴을 진행하고 있다. 아마 대충 11월쯤부터 시작했고.. 1월 중순까지 진행할 예정..연구 주제는 Edge Device에서 무거운 LLM 돌리기. 우선 관련 논문을 읽고 있다. HOBBIT 이라는 논문으로, VRAM 이 제한된 Edge Device에서 LLM을 돌리는 방법을 다룬다. MoE 아키텍처를 기반으로 새로운 아키텍처를 제시함. 핵심은 자주 hit 되는 Expert만 VRAM에 올려두고, 나머지 Expert는 SSD나 RAM 같은 보조기억장치에 올려뒀다가 필요할 때 꺼내서 사용하는 방식. 학부에서 공부한 운영체제나 시스템프로그래밍 지식, 머신러닝과 딥러닝 기초 지식이 있으면..
[HOBBIT] A Mixed Precision Expert OffloadingSystem for Fast MoE Inference
[HOBBIT] A Mixed Precision Expert OffloadingSystem for Fast MoE Inference
2025.12.28MoE 아키텍처로 연산 속도는 높였지만, 여전히 모든 파라미터를 메모리에 올려둬야 해서 메모리가 작은 장치에서는 MoE 아키텍처로 만들어진 모델을 실행시키기 어렵다. 본투비 MoE 모델인 Mixtral 8x7B은 FFN 층을 8개로 나누고 매 토큰마다 전문가 2개만 선택해서 계산하는데, 활성 파라미터 수는 토큰당 12.9B 정도지만 전체 파라미터 수는 46.7B 정도여서.. 양자화 하지 않는다고 치면 파라미터를 저장하기 위해 메모리가 87GB 정도 필요하다. 대부분의 Expert-Offloading 기술은 중요한 파라미터를 VRAM에 저장하고, 나머지 파라미터를 RAM에 저장해 필요에 따라 VRAM에 있는 파라미터를 제거하고 RAM에서 가져오는 방식으로 작동한다. 이런 방식도 좋긴 하지만.. 누..
[MoE] Mixture Of Experts
[MoE] Mixture Of Experts
2025.12.25모델의 모든 파라미터를 RAM이나 VRAM에 올려서 추론할 때 사용하면 참 좋겠지만.. 컴퓨팅 리소스는 한정되어있다.MoE는 적은 컴퓨팅 리소스로 모델을 효과적으로 돌릴 때 사용됨. 모든 파라미터를 메모리에 올려서 사용하는 Dense 모델은 모든 데이터가 하나의 큰 Feed-Forward-Network를 통과한다.MoE 방식에서는 FFN을 여러 개로 쪼개서 배치함. FFN을 Expert라고 생각하자. Ensemble Model 방식으로 학습하는 모델이다.여러 모델의 결과를 합치지는 않고, 입력 데이터에 따라 모델의 일부 경로만 선택하는 방식이니 완전히 똑같지는 않음. 앞에다 라우터를 하나 둬서 어떤 토큰을 어떤 전문가에게 보낼지를 결정한다.그림을 보면 More 토큰은 두 번째 Expert에게 ..
[Computer Network] Cryptography
[Computer Network] Cryptography
2025.12.14네트워크 보안의 기초는 Symmetric Key Cryptography (대칭키 암호화) 항상 그렇듯 Alice와 Bob이 통신함. 동일한 키를 공유하고, 키는 Ks로 표현.Ks(m)은 공유키로 평문을 암호화함을 의미. 동일한 Ks를 사용해 암호문을 평문으로 변환할 수 있다. 서로 만나지 않은 상태에서 네트워크로 키를 주고받으면 공격자가 키를 가로챌 수 있는데. Ks 값을 어떻게 설정해야 할까? Data Encryption Standard56비트 대칭키를 사용해 데이터를 64비트 크기의 블록으로 쪼개서 암호화.Block Cipher 방식을 사용해 블록들을 서로 연결해 암호화 강도를 높이는 Cipher Block Chaning 기법을 사용한다. 다만.. 56비트 키는 브루트포스 때리면 너무 쉽게..
[Computer Network] Multimedia Streaming
[Computer Network] Multimedia Streaming
2025.12.14텍스트나 이미지같은 정적 리소스 말고 대용량의 음성, 영상 데이터를 네트워크로 전송할 때 사용하는 프로토콜이 있음. RTMP / RTMPS (Real Time Messaging Protocol)어도비가 개발한 실시간 메세징 프로토콜으로, 스트리머가 영상을 서버로 보낼 때 사용한다.OBS같은 Encoder 프로그램에서 원격 서버로 영상을 업로드 할 때 표준처럼 사용됨. TCP인데도 연결을 유지하고, 데이터를 Stream으로 보내기에 지연시간이 짧다.다만 End User에 도달할 때는 HLS/DASH 등 다른 프로토콜으로 변환된다. HLS (HTTP Live Streaming)애플이 제안한 HTTP 기반 스트리밍 프로토콜으로, 거대한 영상 파일을 Segment로 잘게 나눠서 전송한다.HTTP 80 포트를 ..