단일 파노라마 이미지에서 깊이, 법선 등 공간 정보를 추론할 수 있는 인공지능 모델. UNIST 제공360도 파노라마 사진 한 장만으로 실내 공간과 사물의 3차원 정보를 파악하는 인공지능(AI) 기술이 개발됐다.
UNIST(울산과학기술원) 인공지능대학원 주경돈 교수팀은 AI 모델 'HUSH(Holistic Panoramic 3D Scene Understanding using Spherical Harmonics)'를 개발했다고 1일 밝혔다.
증강현실(AR)이나 혼합현실(MR) 기술에서 현실 공간과 디지털 콘텐츠를 결합하려면 벽이나 가구의 위치, 물체 간의 거리 정보를 AI가 정확히 이해하고 표현할 수 있어야 한다.
이를 위해 다각도에서 촬영한 여러 장의 사진이나 깊이 센서와 같은 고가 장비가 필요하다.
연구팀이 개발한 HUSH는 360도 파노라마 이미지만을 활용해 이 같은 정보를 파악할 수 있다.
파노라마 이미지는 일반 사진보다 넓은 범위를 한 장에 담을 수 있지만, 둥글게 왜곡된 구면 구조 때문에 AI가 이를 정확히 분석하기 어렵다.
사진 왼쪽부터 주경돈 교수, 이종성 연구원. UNIST 제공연구팀은 이러한 문제를 해결하기 위해 '구면 조화함수(Spherical Harmonics, SH)'라는 수학적 표현 방식을 활용했다.
이 방식은 구형 표면의 정보를 주파수 성분으로 나눠 분석한다.
천장이나 바닥처럼 넓고 평탄한 영역은 저주파 성분으로, 가구나 물체의 윤곽처럼 세부적으로 복잡한 구조는 고주파 성분으로 표현해 정확성을 높였다.
제1저자인 이종성 연구원은 "구면 조화함수는 원래 가상 뷰 생성 분야에서 객체나 장면의 색감을 표현하는데 주로 쓰이는 기술인데 구면 위의 데이터를 효과적으로 분석할 수 있다는 특성에서 착안해 파노라마 이미지 기반 공간 복원에 처음으로 적용했다"라고 전했다.
HUSH 모델은 기존의 다른 3D 장면 복원 모델들보다 깊이 예측 등에서 높은 정확도를 기록했다.
단 하나의 이미지로 여러 가지 공간 정보를 동시에 예측할 수 있어 계산 효율성도 뛰어났다.
주경돈 교수는 "증강현실(AR), 혼합현실(MR)과 같이 사용자 주변의 실내 공간을 정확히 인지해야 하는 경우나 이미지 한 장으로부터 유저와 상호작용이 가능한 실감미디어 생성 등 실제 생활에 폭넓게 적용될 수 있을 것"이라고 말했다.
이번 연구는 컴퓨터 비전 분야 권위 학회인 'CVPR 2025(Conference on Computer Vision and Pattern Recognition)'에 채택됐다.