[Data Science] ETRI 휴먼이해 인공지능 논문경진대회 챌린지 결과 발표

 

 

 

 

 

 

데이터과학을 사랑하는 세 명이 모인 팀 LOV3입니다. 

데이콘에서 개최된 챌린지인 ETRI 휴먼이해 인공지능 논문경진대회와 캐글에서 개최된 챌린지인 BirdCLEF에 동시에 참여했고, 두 챌린지 모두에서 준수한 성적을 받아 발표할 기회를 얻게 되었습니다. 

 

먼저 ETRI 챌린지부터 발표하겠습니다. 

 

 

 

 

 

가설을 만들고 그 가설을 검증하는 일련의 과정을 소개해드리려고 합니다.

EDA, 핵심 방법론, axis 누적 등을 소개드릴 예정입니다. 

 

 

 

 

 

우선 대회 결과입니다. 아직 대회가 마감되지는 않았지만 6.9 기준으로 전체 참가자 중 상위 4% 정도에 위치하고 있습니다.

 

 

 

 

 

가설을 도입하고 성공적인 점수 상승을 만들어낸 요인과 시간 순서에 따라 차트를 만들어봤습니다.

총 세 가지 부분에서 큰 상승이 있었고, 이 세 가지 포인트에 집중해서 발표를 진행해보려 합니다. 

 

 

 

 

EDA 입니다. 몇 가지 생활 습관 및 기타 도메인 지식에 기반한 EDA를 진행했습니다.

가장 핵심이 되는 요소는 Q1과 S가 강하게 묶인다는 점과 어제와 지난주 같은 요일이 강하게 묶인다는 점입니다.

 

여기서 Q1은 기상 직후의 자가보고 수면질이고, S는 수면에 대한 정량적인 측정값에 기인한 값입니다.

 

 

 

 

 

가설 선정 및 성능 최적화에 앞서 Baseline을 먼저 설정했습니다.

개인별 평균을 Sanity Baseline으로 설정하고 세운 가설이 이 Baseline에 미치지 못할 경우 CLAUDE.md에 명시하도록 해 같은 오류를 반복하지 않도록 설정했습니다. 

 

 

 

 

 

점수 상승에 핵심적인 아이디어들과 챌린지를 진행하면서 얻은 교훈을 말씀드리겠습니다.

 

이전 EDA의 결과에 기반하여 자기상관관계, 즉, 해당 subject의 가장 가까운 이전 train의 label값과 이후 train의 라벨값 및 해당 날짜거리를 피처로 사용하기로 했습니다.

 

이 feature를 통해서 시간 거리로 가우시안 가중 평균을 계산하여 이를 모델링하여 최종 예측에서 사전확률과 Gradient Boosting 예측을 가중합하여 모델을 구축했습니다.

 

이 과정이 저희에게 처음으로 급 상승을 안겨주었습니다. 

 

 

 

 

 

로컬 OOF 점수는 굉장히 좋았지만 데이콘에 채점했을때는 항상 점수가 떨어졌습니다.

 

이전에 자기상관관계를 feature로 사용하면서 동일한 피실험자의 인접 날짜가 Train과 Valid로 섞이고 있었고, 이 부분 때문에 과도하게 낙관적인 OOF가 산출되고 있음을 확인했습니다.

 

이 부분을 해결하기 위해 다양한 방식의 CV4종, 기존의 K-Fold 로직에서 피실험자 ID 제거, subject_stractify, AV_score 기반 모델 등 여러 방법을 적용했습니다.

 

모델에 저 방법들을 섞어서 예측값을 생성했더니 큰 점수 상승을 안겨주었습니다.

 

이후 다양한 시도에서 로컬 OOF를 믿지 않고 다시 회의적인 시각으로 Dacon OOF만을 믿기로 생각했고, 가장 잘 나온 모델을 기준으로 예측이 비슷하지 않고, 단독적으로 성능이 준수한 모델에 대해 가장 좋은 모델을 누적하여 학습시키는 방식을 사용했습니다.

 

 

 

 

 

이후 정말 많은 시도를 했지만 큰 상승을 마주하기 힘들었고, 모델 자체를 바꿔보는 시도를 해봤습니다.

arXiv 2509.11232 논문에서 구현된 아이디어를 사용했습니다.

 

하루를 4시간짜리 블록 6개로 쪼개서 시계열로 처리한 후, 기존의 분단위 및 일단위 패턴을 묶어서 직렬적으로 처리하는 아이디어입니다.

이로 인해 수면 효율같은 S데이터에서 야간시간대의 세부 패턴을 독립적으로 처리할 수 있었고, 이를 입축해 LSTM에 적용하여 순서 의존성을 학습시켜 라벨에 대한 예측을 수행하는 모델입니다. 

 

 

 

 

 

이제 최근 상승 요인중 하나를 소개해드리려 합니다.

Q1 Q2에 대한 보정이 OOF는 상승시켰지만, public은 하락하는 대칭적인 관계를 발견하게되어서 OOF가 나빠지는 방향으로 학습을 진행했더니 점수가 상승했습니다.

 

다만 추후 설명드릴 BirdCLEF처럼 public에 대한 불신을 private에서도 똑같이 진행해야하는건지 아닌지 깊은 고민중에 있습니다.

 

 

 

이외에 언급하지는 않았지만 정말정말 많은 실험과 실패를 경험했습니다.

제출파일 약 1500개 정도를 만들었지만, 그중 유의미한 결과는 약 100개 남짓이었던것 같습니다.

 

 

 

 

대회 마감은 6.26입니다.

과거 ETRI 대회의 데이터를 활용하는 방안이라던가 외부 공개 데이터 수집 및 기존의 데이터 증강, 최신 논문을 찾아보고 시도해보지 않은 모델을 도입하는 등의 다양한 방안을 고민중에 있습니다.