천천히 꾸준히 조용히

소스코드 관리는 Git Flow 전략을 사용합니다.main 브랜치에서 어느 정도 초기 기본 세팅이 완료되면 main 브랜치를 기반으로 dev 브랜치를 만들 예정입니다. 일감은 Notion 및 Jira로 관리됩니다.자신이 맡은 일감 번호에 맞춰서, dev 브랜치로부터 feature/n 브랜치를 생성합니다. feature/n 브랜치에서 작업이 완료했다면 feature/n 브랜치에서 dev 브랜치로 병합하는 PR을 요청합니다.즉, dev 브랜치에는 PR 작업 단위 (일감 단위) 로 이력이 쌓이게 됩니다. main 브랜치에는 정기적으로 병합해 시스템이 버그 없이 작동하는지 확인합니다. 먼저 원격 저장소를 로컬 저장소로 fork 뜹시다. 필요할 때 마다 Sync Fork 로 Update Branch를 실행..

우선 큰 타이틀이 Embedded + AI 니까.. 논문을 작성하기 좋은 방향으로 주제를 설정하는 편이 좋아보입니다.TinyML으로도 충분히 좋은 주제를 설정할 수 있지만, 최신 트렌드인 llm을 엮으면 좀 더 좋은 주제가 나오지 않을까 싶네요. 프로젝트를 수행하고 그걸 바탕으로 논문을 작성해야 하니, 흥미를 가지고 진행할 수 있는 주제로 설정하면 더 좋겠습니다.어떤 주제를 설정할 지는 잘 모르겠지만.. 엣지 디바이스에서 llm을 돌릴 수 있다면 선택할 수 있는 주제도 많아집니다. 요즘 가장 트렌디한 주제는 LLM입니다. Embedded + AI 에서는 Physical AI가 가장 먼저 떠오르네요. 제가 생각한 주제는 "RAM, VRAM 등 컴퓨팅 리소스가 한정된 Edge Device에서 LLM..

MoE 아키텍처로 연산 속도는 높였지만, 여전히 모든 파라미터를 메모리에 올려둬야 해서 메모리가 작은 장치에서는 MoE 아키텍처로 만들어진 모델을 실행시키기 어렵다. 본투비 MoE 모델인 Mixtral 8x7B은 FFN 층을 8개로 나누고 매 토큰마다 전문가 2개만 선택해서 계산하는데, 활성 파라미터 수는 토큰당 12.9B 정도지만 전체 파라미터 수는 46.7B 정도여서.. 양자화 하지 않는다고 치면 파라미터를 저장하기 위해 메모리가 87GB 정도 필요하다. 대부분의 Expert-Offloading 기술은 중요한 파라미터를 VRAM에 저장하고, 나머지 파라미터를 RAM에 저장해 필요에 따라 VRAM에 있는 파라미터를 제거하고 RAM에서 가져오는 방식으로 작동한다. 이런 방식도 좋긴 하지만.. 누..

모델의 모든 파라미터를 RAM이나 VRAM에 올려서 추론할 때 사용하면 참 좋겠지만.. 컴퓨팅 리소스는 한정되어있다.MoE는 적은 컴퓨팅 리소스로 모델을 효과적으로 돌릴 때 사용됨. 모든 파라미터를 메모리에 올려서 사용하는 Dense 모델은 모든 데이터가 하나의 큰 Feed-Forward-Network를 통과한다.MoE 방식에서는 FFN을 여러 개로 쪼개서 배치함. FFN을 Expert라고 생각하자. Ensemble Model 방식으로 학습하는 모델이다.여러 모델의 결과를 합치지는 않고, 입력 데이터에 따라 모델의 일부 경로만 선택하는 방식이니 완전히 똑같지는 않음. 앞에다 라우터를 하나 둬서 어떤 토큰을 어떤 전문가에게 보낼지를 결정한다.그림을 보면 More 토큰은 두 번째 Expert에게 ..

네트워크 보안의 기초는 Symmetric Key Cryptography (대칭키 암호화) 항상 그렇듯 Alice와 Bob이 통신함. 동일한 키를 공유하고, 키는 Ks로 표현.Ks(m)은 공유키로 평문을 암호화함을 의미. 동일한 Ks를 사용해 암호문을 평문으로 변환할 수 있다. 서로 만나지 않은 상태에서 네트워크로 키를 주고받으면 공격자가 키를 가로챌 수 있는데. Ks 값을 어떻게 설정해야 할까? Data Encryption Standard56비트 대칭키를 사용해 데이터를 64비트 크기의 블록으로 쪼개서 암호화.Block Cipher 방식을 사용해 블록들을 서로 연결해 암호화 강도를 높이는 Cipher Block Chaning 기법을 사용한다. 다만.. 56비트 키는 브루트포스 때리면 너무 쉽게..

텍스트나 이미지같은 정적 리소스 말고 대용량의 음성, 영상 데이터를 네트워크로 전송할 때 사용하는 프로토콜이 있음. RTMP / RTMPS (Real Time Messaging Protocol)어도비가 개발한 실시간 메세징 프로토콜으로, 스트리머가 영상을 서버로 보낼 때 사용한다.OBS같은 Encoder 프로그램에서 원격 서버로 영상을 업로드 할 때 표준처럼 사용됨. TCP인데도 연결을 유지하고, 데이터를 Stream으로 보내기에 지연시간이 짧다.다만 End User에 도달할 때는 HLS/DASH 등 다른 프로토콜으로 변환된다. HLS (HTTP Live Streaming)애플이 제안한 HTTP 기반 스트리밍 프로토콜으로, 거대한 영상 파일을 Segment로 잘게 나눠서 전송한다.HTTP 80 포트를 ..

IP 주소는 컴퓨터나 라우터 등 인터페이스에 할당된다.여기서 인터페이스는 호스트 / 라우터와 물리적 링크 사이의 연결 지점을 의미함.즉, 디바이스 자체는 방이고, 인터페이스는 그 방으로 들어갈 수 있는 문, IP 주소는 그 문에 붙은 번호판으로 보면 된다. 노트북은 하나지만 C타입 포트도 있고 USB 포트도 있고 무선 와이파이도 잡을 수 있다. 그러면 노트북의 인터페이스는 3개. 라우터도 비슷하게 생각하자. 여러 네트워크를 연결해 줘야 하니 라우터는 연결된 네트워크 수 만큼 IP 주소를 가진다. IP 주소를 표기할 때는 CIDR 쓰는데 이건 다 아니까 패스.. 원래 클래스 썼다가 CIDR로 바꿈. CIDR이 표준. 루프백 사설 브로드캐스트 등 특수 목적 IP 주소가 있고 IPv4가 부족해지면서 1..

인터넷은 Packet Switched Network. 데이터는 IP 패킷으로 쪼개져서 전송되고, 라우터는 패킷 교환망의 교차로에 있는 신호등 역할을 수행한다.즉, Input Port로 들어온 패킷을 적절한 Output Port로 연결해줌. 경로를 만드는거랑 실제로 패킷을 전달하는건 다름. Routing은 출발지부터 목적지까지의 전체 경로를 결정하는 과정으로, Routing Table을 기반으로 수행된다.최단 경로, 정책 기반 등 경로 탐색 알고리즘을 사용함. Forwarding은 Input Port로 들어온 패킷을 Output Port로 실제로 넘겨주는 작업.Forwarding Table을 검색해 어디로 보낼지 결정한다. Control Plane - Software상단의 Routing Process..