[StackUp] 종합설계 Sprint 2·3 Backlog 및 계획 발표

 

 

 

 

 

멀티모달 AI를 활용한 챗봇 개발을 주제로 IT 직군을 위한 모의 면접 경험을 제공하는 서비스를 개발하고 있습니다.

오늘은 스프린트 2와 3에 대한 계획과 백로그에 대해 말씀드리려고 합니다. 

 

 

 

 

 

저희 프로젝트는 스프린트 3까지로 구성됩니다.

원래는 스프린트 2까지를 이번 학기에 수행하고, 다음 학기에 이어서 스프린트 3을 개발하려 했습니다.

다만 계획을 수정해 이번 학기에 스프린트 3까지 진행할 예정입니다.

이번 주차는 스프린트2 에 대한 계획과 백로그를 발표하는 시간이지만 프로젝트 계획 상 스프린트 2와 3에 대해 모두 말씀드리겠습니다.

 

 

 

 

스프린트 2와 스프린트 3은 이전 스프린트1에서 닦아둔 기반을 바탕으로 실제 면접 시뮬레이션을 구현하는 단계입니다.

스프린트 2에서는 텍스트 기반 면접 세션 구현과 면접 세션 피드백을 제공하고,

스프린트 3에서는 텍스트 기반 면접을 음성 기반 면접으로 전환하는 작업을 수행합니다. 

 

 

 

이제 처리해야 할 작업에 대해 하나씩 말씀드리겠습니다.

면접 세션 생성 작업에서는 기술면접, 인성면접 등 면접 유형, 면접 직군 등 면접에 대한 기본 설정을 진행하고 백엔드가 SSE 요청을 보내는 작업을 처리합니다. 

 

 

 

연결 및 초기 질문 생성 작업에서는 사용자가 선택한 유형 및 업로드한 이력서를 바탕으로 초기 질문을 생성합니다.

메세지 큐를 사용해 백엔드간 통신을 중개하고, AI 서버는 LLM을 기반으로 질문을 생성합니다. 

 

 

 

 

우선 스프린트 2에서는 텍스트 면접을 구현합니다.

텍스트 면접에 필요한 UI UX를 구현하고 꼬리질문 관련 UX를 구현합니다.

AI 서버는 면접자의 답변을 분석해 부족한 부분을 파고드는 꼬리질문을 생성합니다. 

 

 

 

 

 

 

 

면접이 마무리되면 피드백 리포트를 생성합니다. 

면접은 기본적으로 Websocket 대신 SSE를 사용해서 처리됩니다. SSE로 완료 메세지를 수신하면 프론트엔드는 리포트 화면으로 이동합니다.

AI 서버는 4가지 측정 지표를 기반으로 면접 세션을 깊게 분석합니다.

 

 

 

 

스프린트 3에서는 텍스트 기반 면접을 음성 기반 면접으로 전환합니다. 

다만 텍스트 기반 면접도 함께 지원하기 위해 토글로 면접 모드를 설정할 수 있도록 제공합니다. 

AI 서버는 OpenAI Whisper, Deepgram API를 사용해 STT / TTS 를 구현합니다. 

 

 

 

소프트웨어 아키텍처입니다. 스프린트 3까지 마무리되면 위의 아키텍처를 모두 구현하게 됩니다.

 

 

 

 

 

마지막으로 작업별 DoD입니다. 

면접 세션 생성에서는 입력한 설정값 기반으로 세션이 제대로 생성되는지를 확인하고, 연결 및 초기 질문 생성에서는 면접 유형에 적합한 질문이 생성되는지를 확인합니다. 

꼬리질문은 사용자의 답변이 있고 나서 3초 이내에 전송됨을 목표로 합니다.

 

 

 

 

피드백 리포트는 미리 설정한 4개 지표 기반으로 점수가 제대로 산출됐는지 확인하고, 스프린트 3의 음성 기반 면접에서는 발화 지표 분석이 제대로 수행되는지 확인합니다. 

 

 

 

지난 스프린트에서는 시연 시 동영상 기반으로 시연해 이 부분에 대해서 피드백이 있었습니다. 

이번 스프린트를 거치면 프론트엔드와 백엔드 모두 구축된 서버로 배포되고 실시간으로 시연할 수 있는 환경이 구축됩니다.