[StackUp] 종합설계 프로젝트 브레인스토밍 발표

 

 

 

 

저희 팀의 종합설계 주제는 "멀티모달 AI 를 활용한 챗봇 개발”이고, 
이 주제를 바탕으로 IT 직군을 위한 모의 면접 경험을 제공하는 서비스를 개발하고 있습니다.

 

 

 

 

이번 발표 주제는 브레인스토밍 입니다. 

저희 팀은 프로젝트에서 어떤 기능이 필수적으로 개발되어야 하는지와,

그 기능을 어떻게 구현할지에 대해 브레인스토밍을 진행했습니다.

 

 

 

 

 

 

 

우선 저희 프로젝트의 큰 주제는 면접입니다. 
면접 중에서도 IT 직군을 위한 면접이니, 어떤 기능이 필요할지에 대해서 회의를 진행했습니다.
보이시는 화면은 회의 내용을 정리한 기록입니다. 

 

 

 

 

 

굉장히 많은 아이디어가 나왔습니다.

 

기술면접, 인성면접을 분리해서 서비스를 제공하자는 의견이 있었고, 

카메라를 연동해서 시선처리 및 표정 변화를 분석하자는 의견이 있었고,

질문 별로 꼬리질문을 AI를 활용해 생성하고 이 질문을 바탕으로 면접을 진행하자는 의견도 있었습니다.

슬라이드에 기록한 내용들 뿐만 아니라 굉장히 많은 아이디어가 있었습니다.

 

 

 

 

 

 

 

 

 

 

 

우선 아이디어를 모으는 것도 필요하지만, 아이디어를 잘 정리하는것도 중요합니다.

 

저희는 브레인스토밍 과정에서 나온 아이디어를 네 가지 핵심 기능으로 압축했습니다.

 

면접 진행 전의 사전 준비, 

면접 세션 시작,

실시간 면접 프로세스, 

면접 히스토리 관리 

 

이렇게 네 가지 핵심 기능으로 프로젝트를 새롭게 정의했습니다.

 

 

 

 

 

 

저 핵심 기능 정의를 바탕으로 페이퍼 프로토타입을 간단하게 작성했습니다.

바로 서비스의 화면을 바탕으로 그리는 것 보다는, 서비스를 추상화 한 구현 단위를 기준으로 생각했습니다.

 

 

 

 

 

이후, 지금까지 정리한 내용을 바탕으로 유저 플로우를 정리했습니다.

사전 준비 과정에서는 사용자가 이력서 및 깃허브 리포지토리를 선택하고, 그 내용들을 마크다운으로 요약 및 저장하는 과정을 담고 있습니다.

면접 세션이 시작된 후에는 사전 준비 과정에서 만들어진 파일들이 어떻게 사용되는지를 나타냅니다. 

 

 

 

 

 

실시간 면접이 진행될 때는 카메라와 마이크 권한을 얻고 웹소켓이 실행됩니다.

사용자의 응답과 모습이 웹소켓을 통해 실시간 서버로 전송되고, 실시간 서버는 AI 서버에게 STT를 요청합니다.

이후 AI 서버는 음성을 분석해 사용자의 이력서와 포트폴리오 기반의 꼬리질문을 생성하고, 생성된 질문은 실시간 서버를 통해 사용자에게 전달됩니다.

면접이 종료된 이후에는 영상 녹화를 종료하고 S3에 해당 비디오 및 기타 파일을 업로드합니다.

이후 AI 서버를 통해 면접 피드백을 생성하고 사용자에게 제공합니다.

 

 

 

 

 

어떻게 구현할지에 대한 청사진으로, 소프트웨어 아키텍처를 작성했습니다.

다만, 이번 발표 주제가 브레인스토밍인만큼 자세한 설명은 생략하고 이후 4.20에 진행될 스프린트에서 상세 내용을 발표하겠습니다.