천천히 꾸준히 조용히

namespace는 클러스터 내부의 구역을 의미한다. 클러스터 안의 리소스(Pod, Deployment, Service)를 논리적으로 묶는 라벨으로 생각하면 됨.클러스터는 하나고, 그 안의 리소스를 그룹으로 구분한다. 노드를 구분하는 것도 아님. 노드와 namespace는 완전히 다른 축이다. 클러스터 안에 두 개의 노드가 있고 (Control Plane, Worker Node)그 노드 안에는 Pod가 있다. namespace는 저렇게 물리적으로 구분하는게 아니고 같은 클러스터 안을 논리적으로 구분한다. 저걸 쓰는 이유는 C++의 namespace를 사용하는 이유와 똑같음. my-web 이라는 deployment를 여러 군데에서 사용할 때 namespace만 다르게 지정해주면 된다. 개발 / ..

Q1. 인증 API를 staging namespace에 배포함. auth-api Pod이 잘 뜨도록 설정하고 prod namespace의 tester Pod에서 auth-svc로 접속되도록 하기. cross-namespace 주소를 쓸 때는 namespace를 명시해 줘야 함. k exec tester -n prod -- wget -qO- auth-svc.staging └──┬──┘ namespace 붙임 Q2. init container가 설정 파일을 준비하고 nginx가 서빙하는 구조인데, Pod이 안 뜬다. web-init Pod가 정상 작동..

Q1. GPU 작업용 워크로드를 minikube-m03 노드에 배포하려는데 Pod이 안뜬다. m03노드는 GPU 전용임. 일반 워크로드가 못 들어오도록 설정해뒀음. m03 기본설정은 유지하되 Pod 2개가 m03에서 Running 되도록 조치하기. 특정 노드에 Pod를 배치하지 않도록 설정하는건 taint. toleration은 그 거부 표시를 견딜 수 있음을 명시하는 표식으로 Pod에 붙인다. 0/3 nodes are available: 1 node(s) had untolerated taint(s) ← m03: taint 있는데 Pod에 통행증 없음 2 node(s) didn't match Pod's node affinity/selector ← minikube..

실제 회사 클러스터에서는 누가 뭘 할 수 있는지를 제어해야 한다. Role-Based Access Control이 필요함. secret을 다룰 때도 사실 그냥 인코딩일 뿐이니 진짜 secret처럼 다루려면 RBAC로 아무나 get secret을 수행하지 못하게 해야한다. 주체 : 쿠버 밖의 사람, ServiceAccountRole: 권한의 목록으로 뭘 할 수 있느닞를 정의한다.RoleBinding : 주체와 Role을 묶는다. 특정 사람에게 이 Role을 준다. Role과 RoleBinding은 특정 namespace 안에서만 유효하고, ClusterRole과 ClusterRoleBinding은 클러스터 전체에서 유효하다. 13months@13monthsBook k8s % k create se..

S3에 쿼리하는건 AWS Athena. JSON 쿼리 가능. SQL을 사용해서 S3에 있는 데이터를 간편하게 분석할 수 있는 서비스이다. 복제가 효과적으로 작동하려면 각 읽기 전용 복제본에 원본 DB 인스턴스에 동일한 양의 컴퓨팅 및 스토리지 리소스가 있어야 함. AWS EBS는 가상 하드디스크를 의미함. SSD랑 똑같다. 단일 EC2 인스턴스에 마운트됨. EFS는 여러 EC2가 마운트되고 사용할 수 있음. DataSync는 데이터 전송 및 마이그레이션에 사용된다. SnowBall Edge는 대용량 데이터를 네트워크를 안타고 하드웨어 디바이스로 AWS로 이관함 다중 MSA 환경에서는 메세지 수신을 위해 SNS가 필요함. 메세지 폭증에도 안전하게 처리하려면 SQS 필요. 기존 환경을 AWS 클라우드로 현..

마당을 나온 드론 팀 발표 시작하겠습니다.저희가 넷챌린지 캠프에서 개발할 과제는 멀티드론 기반 재난 현장 3D 상황인식 시스템, SkyLens입니다. 드론으로 현장을 촬영하고, 그 영상을 3D 상황판으로 보여주는 시스템을 목표로 합니다. 먼저 저희가 만드려고 하는게 어떤 건지, 개요와 개발 필요성을 담은 기획안을 먼저 말씀드리고 이어서 이 아이디어를 실제로 어떻게 구현할 것인지에 대한 계획과 KOREN 활용 방안 및 일정을 말씀드리겠습니다.마지막으로는 연구 개발비 사용 계획으로 마무리하겠습니다. 먼저 개요입니다. 여러 대의 드론이 RGB 카메라와 열화상 카메라로 현장을 촬영하면, 그 영상이 KOREN 고속망을 타고 코어 서버로 실시간으로 전송됩니다. 서버에서는 이 영상을 3D로 복원하고 AI가 ..

내가 쿠버네티스 클러스터를 다룰 때는 kubectl을 사용한다. (kube-control) 그냥 명령어임. 도커 데스크탑 말고 CLI로 쓸 때 열심히 치던 명령어와 비슷하다. 13months@13monthsBook ~ % kubectl create deployment my-web --image=nginxdeployment.apps/my-web created13months@13monthsBook ~ % Deployment로 간단한 웹서버를 하나 띄워보자.Pod을 직접 만들지 않고 Deployment를 사용해서 띄운다. 13months@13monthsBook ~ % kubectl get deploymentsNAME READY UP-TO-DATE AVAILABLE AGEmy-w..

쿠버네티스는 컨테이너를 관리하는 도구이다.여기서 컨테이너는 애플리케이션을 격리해서 실행하는 기술으로, 도커는 컨테이너 기술을 쉽게 쓰는 구현체 중 하나임. 쿠버네티스가 직접 컨테이너를 실행하지는 않음. 도커에 종속된 기술은 아니다. 컨테이너를 실행하는 런타임은 꼭 도커가 아니여도 상관없음. (2022부터 쿠버는 containerd 런타임을 사용한다) docker run으로 컨테이너 띄우고 컨테이너에 웹 띄우고 자러갔는데 컨테이너가 메모리 부족으로 죽어버렸다.쿠버네티스를 사용하지 않으면 다시 docker run을 입력해야 함. 갑자기 사용자가 10배로 늘어버리면 컨테이너 하나로는 감당할 수 없으니 컨테이너를 여러 개 만들어야 한다.서버컴 하나에 컨테이너 10개를 두는건 힘드니 서버컴 n개에 컨테이너 m개를..

먼저 풀어야 할 문제를 명확하게 정의해보자.미로는 약 5 m × 10 m 직사각형 공간이며, 출발선에서 출발하여 북쪽에 위치한탈출구에 충돌 없이 가장 빠르게 도달하는 것이 목표다. 장애물은 uBrain 포장 박스로 구성된 고정형 장애물과 이동형uBrain 1 대로 구분된다. 여기서 핵심은 탈출구가 반드시북쪽에 위치하며 ‘ㅁ’형 맵이 아니라는 특징 그리고, 탈출구에도달하기 위해 필요한 방향 전환 횟수가 정해져 있다는부분이다. 이 강한 가정을 통해서, 완전성이 보장되므로 이 문제를 디바이스에 방향에 대한 정보를 제공하여 북쪽(디바이스가 처음 놓인 방향) 탈출구로 안정적으로 수렴시키는 그리디 문제로 재정의했다. 초기에는 Occupancy Grid 기반 mapping, 벽 추출, A*/D* 전역 경로계획을 통합..

Association Rule MiningA를 구매한 사람은 B도 같이 구매하더라~ 같은 패턴을 찾는게 목표 itemset : 물건들의 집합 support : 아이템셋이 전체 거래 중 몇 비율에서 등장하는지 나이브하게 생각하면 모든 가능한 연관 규칙을 찾고 support값과 confidence값을 계산해도 된다.다만 이렇게 하면 규칙 수가 너무 많아져서 느림 -> Apriori 알고리즘 사용 최소 지지도인 minsup과 최소 신뢰도인 minconf를 지정하고 비교함 (각각 직접 설정하는 파라미터)support >= minsup , confidence >= minconf (흔한 패턴만 보겠다 + 믿을 만한 규칙만 보겠다) 어떤 itemset이 frequent 하다면 (support >= min..

이어서 BirdCLEF에 대해 발표하겠습니다. 일단 결과는 public에서 은메달권까지 갔다가 1시간만에 4-500등이 밀리는 경험을 했습니다.이후 이것저것 여러 시도를 해 보면서 결국 1200등 내에 들었지만 좀 아쉬웠습니다. 몇 가지 가설을 세웠습니다. BirdCLEF의 학습데이터는 크게 inat 출처의 비교적 깔끔한 새소리와, soundscape 출처의 잡음이 많이 섞인 소리로 구성됩니다. EDA를 통해 이 둘 간의 격차가 굉장히 크다는걸 확인했습니다.즉, 소리 크기 자체의 편향을 정규화하는 모델 구조가 필요함을 확인할 수 있었습니다. 다음으로는 학습데이터에서 여러 종 간의 동시 출현 관련 생물학적 신호를 확인하기 위해서 수행한 EDA입니다.슬라이드에는 자세히 적어뒀지만.. ..

데이터과학을 사랑하는 세 명이 모인 팀 LOV3입니다. 데이콘에서 개최된 챌린지인 ETRI 휴먼이해 인공지능 논문경진대회와 캐글에서 개최된 챌린지인 BirdCLEF에 동시에 참여했고, 두 챌린지 모두에서 준수한 성적을 받아 발표할 기회를 얻게 되었습니다. 먼저 ETRI 챌린지부터 발표하겠습니다. 가설을 만들고 그 가설을 검증하는 일련의 과정을 소개해드리려고 합니다.EDA, 핵심 방법론, axis 누적 등을 소개드릴 예정입니다. 우선 대회 결과입니다. 아직 대회가 마감되지는 않았지만 6.9 기준으로 전체 참가자 중 상위 4% 정도에 위치하고 있습니다. 가설을 도입하고 성공적인 점수 상승을 만들어낸 요인과 시간 순서에 따라 차트를 만들어봤습니다.총 세 가지 부분에서 큰 상승이 있었..

멀티모달 AI를 활용한 챗봇 개발을 주제로 IT 직군을 위한 모의 면접 경험을 제공하는 서비스를 개발하고 있습니다.오늘은 스프린트 2와 3에 대한 계획과 백로그에 대해 말씀드리려고 합니다. 저희 프로젝트는 스프린트 3까지로 구성됩니다.원래는 스프린트 2까지를 이번 학기에 수행하고, 다음 학기에 이어서 스프린트 3을 개발하려 했습니다.다만 계획을 수정해 이번 학기에 스프린트 3까지 진행할 예정입니다.이번 주차는 스프린트2 에 대한 계획과 백로그를 발표하는 시간이지만 프로젝트 계획 상 스프린트 2와 3에 대해 모두 말씀드리겠습니다. 스프린트 2와 스프린트 3은 이전 스프린트1에서 닦아둔 기반을 바탕으로 실제 면접 시뮬레이션을 구현하는 단계입니다.스프린트 2에서는 텍스트 기반 면접 세션 구현과 ..

로컬 OOF는 믿을 수가 없으니 데이콘 LB 자체를 채점기로 쓴다.제출은 하루에 세 번만 가능하니 이 제출을 검증기로 사용. 세번밖에 못 쓰니 아무거나 던지면 안된다. 가설을 세우기 전에 고려할 점 1. 현재 Best와 얼마나 다른지?비슷한거 섞어봤자 성능이 좋아지지 않는다. 현재 Best가 못 보는 부분을 다른 관점에 봐 줘야 의미가 있다.후보의 Test 예측과 현재 Best의 예측이 얼마나 비슷한지를 상관계수로 기록한다. 2. 혼자서도 얼마나 잘 맞히는지? Best랑 다르기만 하고 혼자서는 잘 못 맞추는 후보는 그냥 다른 노이즈일 뿐이다. 그러니 실제로 라벨을 잘 맞추는지도 확인해야 함.OOF 점수가 Baseline보다 얼마나 나은지를 평가한다. OOF를 믿을 수 없는건 최종 판정에서 못 믿는다는거..

디바이스 드라이버는 하드웨어를 추상화하는 소프트웨어 계층.. OS 다룬 내용이랑 유사할 수 밖에 없음. Upper Half 계층과 HAL 두 계층으로 나뉜다. // GPIOHAL_GPIO_WritePin(GPIOA, GPIO_PIN_5, GPIO_PIN_SET);// 통신 UARTHAL_UART_Transmit(&huart2, buf, len, 100);// 초음파 TIMERHAL_TIM_Base_Start_IT(&htim2);// 모터 PWMHAL_TIM_PWM_Start(&htim3, TIM_CHANNEL_1); 사실 지금까지 자연스럽게 작성하던 HAL_* 함수가 모두 디바이스 드라이버임.GPIO 레지스터를 직접 조작하지 않고 함수 호출만 했고, 내부에서는 디바이스 드라이버가 작동하던 것. ..

https://dacon.io/competitions/official/236690/data 제 5회 ETRI 휴먼이해 인공지능 논문경진대회 - DACON분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다.dacon.io 지금까지 내용을 기반으로 여러 가지 시도를 거쳤다.ensemble 크기 키우기, pseudo label을 다른 방식으로 적용해보기, rank average 적용 등등..그런데 전혀 진전이 없었음. 일단 내 로컬 컴에서는 Out-Of-Fold 방식으로 채점한다.Train 데이터 450개를 5개의 Fold로 나누고, Valid로 번갈아 선택하는 방식임. 여기서는 분명 점수가 잘뽑힘 그런데 데이콘에다가 제출만 하면 점수가 떨어진다.데이콘 서버는 비공개 라벨로 채점하니..

OS가 없으면 프로그래머가 무한루프로 직접 순서를 정해야 하지만, OS가 있으면 스케줄러가 자동으로 태스크를 실행해 멀티태스킹을 구현할 수 있다. 무한루프 + 인터럽트 구조는 OS가 없는 상황에서 사용하는 코딩 컨벤션이다.OS 가 있으면 이렇게 짤 필요가 없다. 여러 함수를 동시에 돌리는 것처럼 보이는 구조를 다룬다. 윈도우나 리눅스에서는 Process와 Thread를 나눠서 부르지만, 임베디드 OS에서는 Task라고 부른다.어차피 모든 Task가 메모리 공간을 공유하니 Process와 Thread의 구분이 중요하지 않음. OS 공부할때랑 정말 비슷한.. 임베디드 OS도 일단 근본은 OS니까.. 커널은 OS로 애플리케이션에 서비스를 제공한다. API는 OS와 라이브러리에서 제공하는 인터페이스 함수..

모터는 PWM으로 속도를 조절하고 인코더로 회전 결과를 측정한다.PWM은 출력이고 인코더는 입력으로, 두 가지가 한 쌍을 이뤄야 정확한 제어가 가능함. PWM, Timer 등 지난번에 센서를 공부할 때 다뤘던 내용들이 모터에 그대로 등장한다.다만 모터의 회전을 측정하는 인코더와 보정 파라미터를 찾는 Calibration이 새로 도입됨. DC 모터는 자석에 흐르는 전류의 방향과 세기를 조절해 모터에 회전력을 발생시킨다.전류의 방향이 회전 방향을 결정하고, 전류의 세기가 회전 속도를 결정한다. 일단 전류를 어떻게 조절하는지가 핵심. 인코더는 모터의 회전 방향과 이동거리 계산을 위해 사용된다.모터에 전류를 줘서 돌리더라도, 얼마나 돌았는지 계산해야 한다. 그러니 이 측정을 인코더가 담당함. 가변 저항으..

센서는 아날로그 현상을 디지털 값으로 바꾸는 역할을 수행한다.센서가 어떤 물리량을 어떻게 측정하는지 이해하고, 출력 신호를 MCU의 어떤 자원으로 받아들일지 결정해야 함. 핸드폰만 해도 카메라, 지문인식, 화면 회전을 위한 가속도계, 습도 및 조도 센서, GPS 등 굉장히 많은 센서가 들어있음.여기서 각 센서마다 측정하는 물리량과 용도가 다 다르다. AXLM(가속도계)와 Gyro(자이로스코프)는 항상 pair로 사용된다.자이로스코프는 축을 중심으로 한 회전운동을 의미하고, 가속도계는 축 방향으로의 직선운동을 의미한다. 핸드폰을 들고 위로 올리면 직선이동이니 가속도계가 감지하고, 손목을 비틀면 회전이니 자이로스코프가 감지한다.두 가지가 함께 사용되어야 핸드폰을 잡은 자세를 파악할 수 있음.다만 두 가지를 ..

STM32 에서 UART를 사용하려면 4가지 단계를 거쳐야 한다. 1. GPIO를 Alternate Function으로 Multiplexing2. USART 모듈을 활성화하고 송수신 모드 설정3. Baud Rate를 계산하고 BRR 레지스터에 작성 4. TXE 및 RXNE 플래그 기반으로 송수신 STM32F429xx 에는 USART 및 UART가 8개 들어있음.두 개 모두 섞여있다. STM32는 동기 모드도 지원함.APB1과 APB2는 속도가 다름. 각각 저속, 고속을 담당하고 USART1과 USART6은 빠른 버스에 붙어 baud rate가 높음. STM32의 핀 하나는 기본 GPIO 외 16가지 Alternate Function 중 하나로 사용될 수 있음.전에 다룬 USART CAN I2C 등..