NET 챌린지 : 멀티드론 기반 3D 상황인식 시스템 - 착수보고회

 

 

 

 

마당을 나온 드론 팀 발표 시작하겠습니다.

저희가 넷챌린지 캠프에서 개발할 과제는 멀티드론 기반 재난 현장 3D 상황인식 시스템, SkyLens입니다. 

드론으로 현장을 촬영하고, 그 영상을 3D 상황판으로 보여주는 시스템을 목표로 합니다. 

 

 

 

먼저 저희가 만드려고 하는게 어떤 건지, 개요와 개발 필요성을 담은 기획안을 먼저 말씀드리고 

이어서 이 아이디어를 실제로 어떻게 구현할 것인지에 대한 계획과 KOREN 활용 방안 및 일정을 말씀드리겠습니다.

마지막으로는 연구 개발비 사용 계획으로 마무리하겠습니다.

 

 

 

먼저 개요입니다.

 

여러 대의 드론이 RGB 카메라와 열화상 카메라로 현장을 촬영하면, 그 영상이 KOREN 고속망을 타고 코어 서버로 실시간으로 전송됩니다. 

서버에서는 이 영상을 3D로 복원하고 AI가 현장의 위험구역과 구조대상자를 감지합니다.

복원된 3D 상황판은 현장 인근의 Edge 서버를 통해 구조자에게 전달되고, 구조자가 진입 동선을 판단하는 데 사용됩니다. 

 

기존 방식과는 다르게 단일 드론이 아니라 여러 드론이 구역을 나눠 동시에 촬영하고, 30초 주기로 3D와 감지 결과를 갱신합니다. 또한 KOREN 기반으로 코어 서버와 엣지 서버에 역할을 분산합니다. 이 세 가지가 저희 과제의 차별점이라고 생각합니다. 

 

 

 

어떤 시스템을 만들지 말씀드렸으니, 이 시스템이 왜 필요한지 말씀드리겠습니다. 세 가지 배경이 맞물려 있습니다. 

 

첫째, 재난 구조 현장의 어려움입니다. 

2024년 문경 화재에서는 내부 고립자의 위치를 모른 채 진입한 소방대원이 순직하는 사건이 있었고, 2025년 광명 신안산선 터널 붕괴에도 소방드론이 투입됐습니다. 

즉, 실제 구조 작업에 들어가기 전에 내부 위험을 파악하는게 매우 중요함을 의미합니다. 

 

둘째, 드론이 이미 현장에 자리 잡고 있습니다. 

재난드론 출동 횟수는 5년만에 6배정도 증가했고, 소방청과 지자체는 이미 AI 분석을 통해 본격적으로 AI 전환을 시작하고 있습니다. 

 

셋째, 관련 기술의 발전입니다. 

여러 각도에서 촬영한 영상을 3D로 복원하고 구조대상자를 감지하려면 Gaussian Splatting, TransUNet같은 복원 및 감지 기술이 필요합니다. 이 기술들은 이미 실용 단계에 들어섰고, 최근에는 드론 오디오 데이터를 사용해 소리 기반으로 구조대상자를 탐색하는 기술이 등장하고 있습니다. 

 

이 세 가지가 만나 멀티드론 영상을 3D로 복원하고 AI로 위험을 감지해 구조자의 판단을 돕는 일이 실현 가능하다는 점이 저희 과제의 출발점입니다. 

 

 

 

이제 시스템을 어떻게 구축할지 구체적으로 말씀드리겠습니다. 

 

파이프라인은 총 4단계로 구성되고 이걸 코어 서버와 엣지 서버가 나눠서 처리합니다. 무거운 연산을 처리해야 하는 세 단계는 코어 서버가 처리하고 저지연 서빙은 엣지 서버가 담당합니다. 

 

멀티드론 3D 복원 단계에서는 드론이 촬영한 영상에 3D Gaussian Splatting을 적용해 장면을 복원한 뒤 30초 주기로 갱신합니다. 이후 RGB 3채널과 열화상 1채널을 합쳐서 위험구역과 사람을 동시에 잡아냅니다. 

다음은 2D를 3D로 투영하고 상황판에 보여주는 단계입니다. 감지 결과를 실제 세계좌표의 3D 마커로 변환하고, 복원 결과를 엣지 서버가 받아 웹으로 구조자에게 빠르게 보여줍니다. 

 

 

 

앞서 말씀드린 내용을 도식화했습니다.

 

드론들이 촬영한 영상은 KOREN 고속망을 거쳐 코어 서버로 전달되고 이 코어 서버에서 3D 복원 / 구조대상자 감지 / 기하 투영이 처리됩니다.

 

아래 점선으로 표현한 부분은 확장 기능으로 두 가지를 생각하고 있습니다.

 

드론이 촬영한 영상에 포함된 오디오를 YAMNet에 전달하고 생존자 의심 구역 감지 신뢰도를 높이는 기능입니다.

별도의 depth 센서 없이 이미 복원해 둔 3D Gaussian Splatting 장면을 드론 시점에서 렌더링하면 Depth Map을 얻을 수 있습니다. 이걸 역참조하면 2D 감지 결과를 3D 좌표로 올릴 수 있으니 정확도를 높이는 용도로 사용하려 합니다. 

 

 

 

 

저희가 목표로 하는 화면입니다.

 

화면을 두 영역으로 나눠 좌측은 드론 제어 시뮬레이션, 우측은 결과가 만들어지는 3D 상황판을 배치합니다. 

드론이 현장을 훑으면 우측에 3D 화면이 렌더링되고, 그 위에 위험구역과 구조대상자가 마커로 표시됩니다. 

 

추후 예정된 최종 시연에서는 이 화면을 좀 더 고도화한 상태로 보여드리고자 합니다. 

 

 

 

기존 방식과 저희 과제인 SkyLens를 비교한 표입니다. 핵심만 짚고 넘어가겠습니다. 

 

획득 관점에서는 단일 드론과 일반 인터넷망 대신 멀티드론과 KOREN 고속 인터넷을 사용합니다.

인지 관점에서는 2D 영상 중계에 그치지 않고 현장을 3D로 복원하며 RGB에 열화상을 추가해 야간과 극한 상황에도 대응합니다.

처리 관점에서는 오래 걸리는 사후 처리를 30초 주기 준실시간으로 바꾸고 연산을 코어와 엣지로 분산합니다.

의사결정 관점에서는 2D 영상을 기반으로 판단하는 대신 3D 상황판을 기반으로 위치와 동선을 판단하도록 합니다.

 

정리하자면, 수 시간이 걸리던 상황인식을 30초 이내로 줄이고 이를 통해 재난 대응 골든타임을 확보하고자 합니다. 

 

 

 

시스템 구축에 필요한 하드웨어와 소프트웨어를 말씀드리겠습니다. 

 

3대 이상의 드론이 RGB 및 열화상 카메라로 현장을 촬영하고, KOREN 고속망을 통해 코어 서버의 GPU 서버로 전달됩니다. 여기서 복원과 추론이 끝나면 현장 인근의 엣지 서버로 전송됩니다. 

하드웨어 흐름 전체는 KOREN 고속망이 하나로 묶어줍니다. 

 

영상 전송은 GStreamer와 FFmpeg으로 스트리밍 시간을 동기화하고, 3D 복원은 Gaussian Splatting을 바탕으로 점진적으로 갱신합니다. 

AI 감지 쪽에서는 Pytorch와 TensorRT로 추론을 최적화하고 엣지 서버의 상황판은 Three.js와 Websocket으로 화면을 렌더링합니다. 

소프트웨어는 모두 검증된 오픈소스 기술을 사용합니다. 

 

 

 

하드웨어 흐름은 KOREN 고속망을 중심으로 하나로 묶입니다. 

 

드론 한 대당 50~100Mbps 를 전송하니 3대는 수백 Mbps를 동시에 보내야 합니다. 일반 인터넷망으로는 힘들고, KOREN 고속 인터넷을 사용해야 합니다.

코어 서버에서 엣지 서버로 데이터를 전달할 때도 마찬가지입니다. 3DGS 모델을 지연을 최소화하면서 보내야 합니다. 

Gaussian Splatting과 AI 추론에는 GPU가 필요합니다. KOREN의 GPU 인프라를 코어로, 현장 인근 노드를 엣지로 사용합니다. 

저희 과제가 다루는 내용이 재난 환경이다 보니, 네트워크 품질이 매우 중요합니다. 저희가 원하는 수준의 저지연과 네트워크 품질은 KOREN 전용망에서만 가능합니다.

 

 

 

재난 환경 도메인에서는 신뢰성과 실시간성이 가장 중요하다고 생각합니다. 

 

검증을 위해 측정이 필요합니다. 영상 전송은 대역폭과 지연을 바탕으로, 3D 복원은 갱신 주기와 화질을 바탕으로, AI 감지는 F1-Score를 바탕으로, 투영은 실제 좌표 대비 오차로 측정합니다.

파이프라인 통합 검증에서는 드론 촬영부터 엣지 서빙까지 걸리는 시간이 30초 이내가 되도록 목표하고 있습니다. 

마지막으로는 실제 상황을 가정해 모의 재난 현장에서 실제 드론을 배치하고 저희 과제가 제대로 동작하는지 테스트하려 합니다. 

 

 

 

 

역할 분담과 일정입니다. 과제 개발 기간은 7월부터 11월까지로 잡았고, 8월까지 영상 전송과 3D 복원을, 9월까지는 AI 감지와 투영과 통합 시스템을 구축하고 11월에 최종 시스템을 완성하는걸 목표로 하고 있습니다. 

 

 

 

 

기술이 구현됐을 때의 현장 변화를 정리했습니다. 크게 세 가지로 요약됩니다.

 

촬영에서 상황판 반영까지 30초 이내로 처리해 구조자의 의사결정 시간을 단축합니다. 이를 통해 재난 대응 골든타임을 확보합니다.

야간과 연기 속에서도 RGB와 열화상을 융합해 구조대상자를 효과적으로 탐색합니다. 이를 통해 인명 구조 효율을 향상시킵니다. 

마지막으로 3D 상황판을 바탕으로 구조자가 안전한 진입 경로를 판단하도록 도와줍니다. 

 

 

 

마지막으로 예산입니다. 드론 대여비를 포함한 장비 및 재료비, 회의비, 국내여비로 구성됩니다. 

 

이상 마당을 나온 드론 팀의 SkyLens 였습니다. 

드론으로 현장을 촬영하고, 그 영상을 3D 상황판으로 보여주는 시스템을 목표로 합니다. 

 

감사합니다.