[Data Science] ETRI 휴먼이해 인공지능 논문경진대회 - 5

 

 

 

로컬 OOF는 믿을 수가 없으니 데이콘 LB 자체를 채점기로 쓴다.

제출은 하루에 세 번만 가능하니 이 제출을 검증기로 사용. 세번밖에 못 쓰니 아무거나 던지면 안된다.

 

가설을 세우기 전에 고려할 점 

 

1. 현재 Best와 얼마나 다른지?

비슷한거 섞어봤자 성능이 좋아지지 않는다. 현재 Best가 못 보는 부분을 다른 관점에 봐 줘야 의미가 있다.

후보의 Test 예측과 현재 Best의 예측이 얼마나 비슷한지를 상관계수로 기록한다.

 

2. 혼자서도 얼마나 잘 맞히는지? 

Best랑 다르기만 하고 혼자서는 잘 못 맞추는 후보는 그냥 다른 노이즈일 뿐이다. 그러니 실제로 라벨을 잘 맞추는지도 확인해야 함.

OOF 점수가 Baseline보다 얼마나 나은지를 평가한다.

 

OOF를 믿을 수 없는건 최종 판정에서 못 믿는다는거지 혼자서 잘 맞추는지의 척도로는 활용할 수 있다.

 

두 가지 기준에 부합하는 모델을 Best에 합치는 방식으로 점수를 누적한다.

여기서 합치는 방식도 중요함. 그냥 평균을 내는 것 보다 logit 공간에서 섞어 줘야 한다.

 

평가지표가 Average Log-Loss라서 산술평균하면 보정이 망가진다.

 

# logit 관련 연산 
def logit(p):
    p = np.clip(p, EPS, 1 - EPS)
    return np.log(p / (1 - p))

def sigmoid(x):
    return 1.0 / (1.0 + np.exp(-x))


def blend(base, axis, a):
    return sigmoid((1 - a) * logit(base) + a * logit(axis))


def load_axis(name):
    d = np.load(ART / f'{name}_aggregated.npz')
    return d['oof_v2'].astype(np.float64), d['tp_v2'].astype(np.float64)

 

 

빌드 시 이렇게 변환 함수를 만들어서 사용

 

 

 

---

 

 

 

큰 그림은 위의 방식대로 설정하고 Best를 계속 갱신한 결과 

 

Card A	피실험자 하나씩 빼고 학습 돌리기	0.5794
TabPFN	Tabular Transformer GBM을 안씀	0.5793
MLP + SleepV6	분 단위 수면 피쳐가 MLP에 도움이 됨	0.5762
MLPContrast	Contrastive 피쳐 MLP로 Q2 최적화	0.57579
MIS-LSTM	외부 논문 참고 - CNN+LSTM + 시계열	0.56795
MIS-LSTM 누적	S2 S3 최적화	0.56525
Sleep6-Q3 적용	Q3 전용 누적	0.56524
SleepV6 정렬버그 수정 + Q3 적용	Off-By-One 정렬 버그 수정	0.56505

 

 

진짜 조금씩 오른다 작은 검증들을 모으고 또 모아서 0.56505까지 깎았다.

 

외부 논문에서 사용한 방식인 4h CNN + LSTM 을 그대로 적용했던게 좀 컸다 (https://arxiv.org/abs/2509.11232)

SleepV6을 적용할 때는 야간창 계산할때 off-by-one 정렬 버그가 있었고 그걸 수정하니 Q3가 최적화됐다.